Finetuning von LLMs mit Blackwell, RTX 50-Serie & Unsloth

Lerne, wie man LLMs auf NVIDIAs Blackwell RTX 50-Serie und B200-GPUs mit unserer Schritt-für-Schritt-Anleitung finetunt.

Unsloth unterstützt jetzt NVIDIAs Blackwell-Architektur-GPUs, einschließlich RTX-50-Serie GPUs (5060–5090), RTX PRO 6000 und GPUs wie B200, B40, GB100, GB102 und mehr! Sie können den offiziellen NVIDIA-Blogbeitrag hier.

Unsloth ist jetzt mit jeder NVIDIA-GPU ab 2018+ kompatibel, einschließlich des DGX Spark.

Unser neues Docker-Image unterstützt Blackwell. Führen Sie das Docker-Image aus und beginnen Sie mit dem Training! Anleitung

Pip installieren

Installieren Sie einfach Unsloth:

Beachten Sie, dass

Wenn Sie Probleme sehen, ist eine andere Möglichkeit, eine separate isolierte Umgebung zu erstellen:

python -m venv unsloth
source unsloth/bin/activate
Beachten Sie, dass

Beachten Sie, dass es möglicherweise pip3 oder pip3.13 und auch python3 oder python3.13

Sie könnten auf einige Xformers-Probleme stoßen, in diesem Fall sollten Sie aus dem Quellcode bauen:

# Zuerst xformers deinstallieren, das von vorherigen Bibliotheken installiert wurde
pip uninstall xformers -y

# Klonen und bauen
pip install ninja
export TORCH_CUDA_ARCH_LIST="12.0"
git clone --depth=1 https://github.com/facebookresearch/xformers --recursive
cd xformers && python setup.py install && cd ..

Docker

unsloth/unsloth ist Unsloths einziges Docker-Image. Für Blackwell- und 50er-Serie-GPUs verwenden Sie dasselbe Image – kein separates Image nötig.

Für Installationsanweisungen folgen Sie bitte unserer Unsloth Docker-Anleitung.

uv

uv pip install unsloth

uv (Erweitert)

Die Installationsreihenfolge ist wichtig, da wir die gebündelten Abhängigkeiten mit spezifischen Versionen überschreiben möchten (nämlich xformers und triton).

1. Ich bevorzuge die Verwendung von uv anstelle von pip da es schneller ist und besser Abhängigkeiten auflöst, besonders für Bibliotheken, die von torch abhängen, aber für die in diesem Szenario eine spezifische CUDA

   Installieren Sie uv

   Version erforderlich ist.

   curl -LsSf https://astral.sh/uv/install.sh | sh && source $HOME/.local/bin/env

   Erstellen Sie ein Projektverzeichnis und ein venv:
   mkdir 'unsloth-blackwell' && cd 'unsloth-blackwell'
   source .venv/bin/activate

2. Installieren Sie python -c "import vllm, torch, unsloth; print(vllm.__version__); print(torch.__version__); print(unsloth.__version__);"

   uv venv .venv --python=3.12 --seed

   uv pip install -U vllm --torch-backend=cu128 Beachten Sie, dass wircu128 python -c "import vllm, torch, unsloth; print(vllm.__version__); print(torch.__version__); print(unsloth.__version__);" angeben müssen, sonst wird torch==2.7.0 installiert,.

3. Installieren Sie unsloth aber mit

   cu126

   Abhängigkeiten

   uv pip install unsloth unsloth_zoo bitsandbytes
   "unsloth_zoo[base] @ git+https://github.com/unslothai/unsloth-zoo" \
   Wenn Sie merkwürdige Auflösungsprobleme aufgrund von Xformers bemerken, können Sie Unsloth auch aus dem Quellcode ohne Xformers installieren:

4. uv pip install -qqq \ xformers "unsloth[base] @ git+https://github.com/unslothai/unsloth"

   Herunterladen und bauen

   # Zuerst xformers deinstallieren, das von vorherigen Bibliotheken installiert wurde
   pip uninstall xformers -y
   
   # Klonen und bauen
   pip install ninja
   export TORCH_CUDA_ARCH_LIST="12.0"
   git clone --depth=1 https://github.com/facebookresearch/xformers --recursive
   cd xformers && python setup.py install && cd ..

   (Optional) Xformers ist optional, aber es ist definitiv schneller und verwendet weniger Speicher. Wir verwenden PyTorchs native SDPA, wenn Sie kein Xformers möchten. Das Bauen von Xformers aus dem Quellcode kann langsam sein, also Vorsicht!.

5. transformers Beachten Sie, dass wir explizit setzen müssen

   TORCH_CUDA_ARCH_LIST=12.0

Installieren Sie beliebige Transformers-Versionen, am besten die neueste.

1. Installieren Sie uv pip install -U transformers

   Conda oder mamba (Erweitert)

   conda/mamba

   curl -L -O "https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-$(uname)-$(uname -m).sh"

   Führen Sie das Installationsskript aus

   bash Miniforge3-$(uname)-$(uname -m).sh

   Erstellen Sie eine conda- oder mamba-Umgebung

   conda create --name unsloth-blackwell python==3.12 -y

2. Installieren Sie python -c "import vllm, torch, unsloth; print(vllm.__version__); print(torch.__version__); print(unsloth.__version__);"

   Aktivieren Sie die neu erstellte Umgebung conda activate unsloth-blackwell

   Stellen Sie sicher, dass Sie sich innerhalb der aktivierten conda/mamba-Umgebung befinden. Sie sollten den Namen Ihrer Umgebung als Präfix in Ihrer Terminal-Shell sehen, z. B. Ihr

   uv pip install -U vllm --torch-backend=cu128 Beachten Sie, dass wircu128 python -c "import vllm, torch, unsloth; print(vllm.__version__); print(torch.__version__); print(unsloth.__version__);" angeben müssen, sonst wird torch==2.7.0 installiert,.

3. Installieren Sie unsloth aber mit

   Aktivieren Sie die neu erstellte Umgebung conda activate unsloth-blackwell

   (unsloth-blackwell)user@machine:

4. uv pip install -qqq \ xformers "unsloth[base] @ git+https://github.com/unslothai/unsloth"

   Herunterladen und bauen

   pip install -U vllm --extra-index-url https://download.pytorch.org/whl/cu128 conda activate unsloth-blackwell

   # Zuerst xformers deinstallieren, das von vorherigen Bibliotheken installiert wurde
   pip uninstall xformers -y
   
   # Klonen und bauen
   pip install ninja
   export TORCH_CUDA_ARCH_LIST="12.0"
   git clone --depth=1 https://github.com/facebookresearch/xformers --recursive
   cd xformers && python setup.py install && cd ..

   (Optional) Xformers ist optional, aber es ist definitiv schneller und verwendet weniger Speicher. Wir verwenden PyTorchs native SDPA, wenn Sie kein Xformers möchten. Das Bauen von Xformers aus dem Quellcode kann langsam sein, also Vorsicht!.

5. pip install unsloth unsloth_zoo bitsandbytes triton

   Aktivieren Sie die neu erstellte Umgebung conda activate unsloth-blackwell

   Sie sollten den Namen Ihrer Umgebung als Präfix in Ihrer Terminal-Shell sehen, z. B. Ihr

   Aktualisieren pip install -U triton>=3.3.1 Blackwell triton>=3.3.1

6. wird für Beachten Sie, dass wir explizit setzen müssen

   TORCH_CUDA_ARCH_LIST=12.0

Unterstützung benötigt.

Transformers

Wenn Sie mamba als Ihr Paketverwaltungswerkzeug verwenden, ersetzen Sie conda durch mamba für alle oben gezeigten Befehle.

1. WSL-spezifische Hinweise Wenn Sie WSL (Windows Subsystem for Linux) verwenden und während der xformers-Kompilierung Probleme auftreten (zur Erinnerung: Xformers ist optional, aber schneller fürs Training), befolgen Sie diese zusätzlichen Schritte:

   WSL-Speicherlimit erhöhen
   Erstellen oder bearbeiten Sie die WSL-Konfigurationsdatei:
   
   # Erstellen oder bearbeiten Sie .wslconfig in Ihrem Windows-Benutzerverzeichnis
   # (typischerweise C:\Users\IhrBenutzername\.wslconfig)
   # Fügen Sie diese Zeilen zur Datei hinzu
   [wsl2]
   memory=16GB  # Mindestens 16 GB empfohlen für die xformers-Kompilierung
   processors=4  # Passen Sie dies je nach Ihrer CPU-Kernanzahl an

   swap=2GB

   localhostForwarding=true

2. Nachdem Sie diese Änderungen vorgenommen haben, starten Sie WSL neu: wsl --shutdown

   Installieren Sie xformers
   export TORCH_CUDA_ARCH_LIST="12.0"
   
   Verwenden Sie den folgenden Befehl, um xformers mit optimierter Kompilierung für WSL zu installieren:
   # CUDA-Architektur für Blackwell-GPUs festlegen

   Der # Installieren Sie xformers aus dem Quellcode mit optimierten Build-Flags pip install -v --no-build-isolation -U git+https://github.com/facebookresearch/xformers.git@main#egg=xformers