Fine-Tuning von LLMs mit Blackwell, RTX-50-Serie und Unsloth

Erfahren Sie mit unserer Schritt-für-Schritt-Anleitung, wie Sie LLMs auf NVIDIAs Blackwell-RTX-50-Serie und B200-GPUs fine-tunen.

Unsloth unterstützt jetzt NVIDIA-GPUs mit Blackwell-Architektur, einschließlich RTX-50er-GPUs (5060–5090), RTX PRO 6000 und GPUs wie B200, B40, GB100, GB102 und mehr! Den offiziellen NVIDIA-Blogbeitrag hier.

Unsloth ist jetzt mit jeder NVIDIA-GPU ab 2018 kompatibel, einschließlich des DGX Spark.

Unser neues Docker-Image unterstützt Blackwell. Starten Sie das Docker-Image und beginnen Sie mit dem Training! Anleitung

Pip installieren

Installieren Sie Unsloth einfach:

pip install unsloth

Falls Probleme auftreten, ist eine weitere Option, eine separate isolierte Umgebung zu erstellen:

python -m venv unsloth
source unsloth/bin/activate
pip install unsloth

Beachten Sie, dass es möglicherweise pip3 oder pip3.13 und auch python3 oder python3.13

Es kann sein, dass Sie auf einige Xformers-Probleme stoßen; in diesem Fall sollten Sie aus den Quellen bauen:

# Zuerst das von vorherigen Bibliotheken installierte xformers deinstallieren
pip uninstall xformers -y

# Klonen und bauen
pip install ninja
export TORCH_CUDA_ARCH_LIST="12.0"
git clone --depth=1 https://github.com/facebookresearch/xformers --recursive
cd xformers && python setup.py install && cd ..

Docker

unsloth/unsloth ist Unsloths einziges Docker-Image. Für Blackwell- und 50er-GPUs verwenden Sie dasselbe Image – kein separates Image erforderlich.

Für Installationsanweisungen folgen Sie bitte unserer Unsloth-Docker-Anleitung.

uv

uv pip install unsloth

uv (Erweitert)

Die Installationsreihenfolge ist wichtig, da wir die gebündelten Abhängigkeiten durch bestimmte Versionen überschreiben wollen (nämlich xformers und triton).

1. Ich bevorzuge uv gegenüber pip weil es schneller ist und Abhängigkeiten besser auflöst, insbesondere für Bibliotheken, die von torch abhängen, für die aber in diesem Szenario eine bestimmte CUDA -Version erforderlich ist.

   Installieren uv

   curl -LsSf https://astral.sh/uv/install.sh | sh && source $HOME/.local/bin/env

   Erstellen Sie ein Projektverzeichnis und eine venv:

   mkdir 'unsloth-blackwell' && cd 'unsloth-blackwell'
   uv venv .venv --python=3.12 --seed
   source .venv/bin/activate

2. Installieren vllm

   uv pip install -U vllm --torch-backend=cu128

   Beachten Sie, dass wir cu128angeben müssen, andernfalls vllm wird installiert torch==2.7.0 aber mit cu126.

3. Installieren unsloth Abhängigkeiten

   uv pip install unsloth unsloth_zoo bitsandbytes

   Falls Sie wegen Xformers seltsame Auflösungsprobleme bemerken, können Sie Unsloth auch aus den Quellen ohne Xformers installieren:

   uv pip install -qqq \
   "unsloth_zoo[base] @ git+https://github.com/unslothai/unsloth-zoo" \
   "unsloth[base] @ git+https://github.com/unslothai/unsloth"

4. Herunterladen und bauen xformers (Optional)

   Xformers ist optional, aber es ist definitiv schneller und verbraucht weniger Speicher. Wir verwenden die native SDPA von PyTorch, wenn Sie Xformers nicht möchten. Das Erstellen von Xformers aus den Quellen kann langsam sein, also Vorsicht!

   # Zuerst das von vorherigen Bibliotheken installierte xformers deinstallieren
   pip uninstall xformers -y
   
   # Klonen und bauen
   pip install ninja
   export TORCH_CUDA_ARCH_LIST="12.0"
   git clone --depth=1 https://github.com/facebookresearch/xformers --recursive
   cd xformers && python setup.py install && cd ..

   Beachten Sie, dass wir ausdrücklich TORCH_CUDA_ARCH_LIST=12.0.

5. transformers Installieren Sie eine beliebige transformers-Version, am besten jedoch die neueste.

   uv pip install -U transformers

Conda oder mamba (Erweitert)

1. Installieren conda/mamba

   curl -L -O "https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-$(uname)-$(uname -m).sh"

   Führen Sie das Installationsskript aus

   bash Miniforge3-$(uname)-$(uname -m).sh

   Erstellen Sie eine conda- oder mamba-Umgebung

   conda create --name unsloth-blackwell python==3.12 -y

   Neu erstellte Umgebung aktivieren

   conda activate unsloth-blackwell

2. Installieren vllm

   Stellen Sie sicher, dass Sie sich innerhalb der aktivierten conda-/mamba-Umgebung befinden. Sie sollten den Namen Ihrer Umgebung als Präfix in Ihrer Terminal-Shell sehen, etwa so: (unsloth-blackwell)user@machine:

   pip install -U vllm --extra-index-url https://download.pytorch.org/whl/cu128

   Beachten Sie, dass wir cu128angeben müssen, andernfalls vllm wird installiert torch==2.7.0 aber mit cu126.

3. Installieren unsloth Abhängigkeiten

   Stellen Sie sicher, dass Sie sich innerhalb der aktivierten conda-/mamba-Umgebung befinden. Sie sollten den Namen Ihrer Umgebung als Präfix in Ihrer Terminal-Shell sehen, etwa so: (unsloth-blackwell)user@machine:

   pip install unsloth unsloth_zoo bitsandbytes

4. Herunterladen und bauen xformers (Optional)

   Xformers ist optional, aber es ist definitiv schneller und verbraucht weniger Speicher. Wir verwenden die native SDPA von PyTorch, wenn Sie Xformers nicht möchten. Das Erstellen von Xformers aus den Quellen kann langsam sein, also Vorsicht!

   Sie sollten den Namen Ihrer Umgebung als Präfix in Ihrer Terminal-Shell sehen, etwa so: (unsloth-blackwell)user@machine:

   # Zuerst das von vorherigen Bibliotheken installierte xformers deinstallieren
   pip uninstall xformers -y
   
   # Klonen und bauen
   pip install ninja
   export TORCH_CUDA_ARCH_LIST="12.0"
   git clone --depth=1 https://github.com/facebookresearch/xformers --recursive
   cd xformers && python setup.py install && cd ..

   Beachten Sie, dass wir ausdrücklich TORCH_CUDA_ARCH_LIST=12.0.

5. Aktualisieren triton

   Stellen Sie sicher, dass Sie sich innerhalb der aktivierten conda-/mamba-Umgebung befinden. Sie sollten den Namen Ihrer Umgebung als Präfix in Ihrer Terminal-Shell sehen, etwa so: (unsloth-blackwell)user@machine:

   pip install -U "triton>=3.3.1"

   triton>=3.3.1 ist erforderlich für Blackwell Unterstützung.

6. Transformers Installieren Sie eine beliebige transformers-Version, am besten jedoch die neueste.

   uv pip install -U transformers

Wenn Sie mamba als Ihr Paket verwenden, ersetzen Sie einfach in allen oben gezeigten Befehlen conda durch mamba.

WSL-spezifische Hinweise

Wenn Sie WSL (Windows Subsystem for Linux) verwenden und beim Kompilieren von xformers auf Probleme stoßen (zur Erinnerung: Xformers ist optional, aber für das Training schneller), befolgen Sie diese zusätzlichen Schritte:

1. WSL-Speicherlimit erhöhen Erstellen oder bearbeiten Sie die WSL-Konfigurationsdatei:

   # .wslconfig in Ihrem Windows-Benutzerverzeichnis erstellen oder bearbeiten
   # (typischerweise C:\Users\IhrBenutzername\.wslconfig)
   
   # Fügen Sie diese Zeilen zur Datei hinzu
   [wsl2]
   memory=16GB  # Mindestens 16 GB für die Kompilierung von xformers empfohlen
   processors=4  # Je nach CPU-Kernen anpassen
   swap=2GB
   localhostForwarding=true

   Nachdem Sie diese Änderungen vorgenommen haben, starten Sie WSL neu:

   wsl --shutdown

2. xformers installieren Verwenden Sie den folgenden Befehl, um xformers mit optimierter Kompilierung für WSL zu installieren:

   # CUDA-Architektur für Blackwell-GPUs festlegen
   export TORCH_CUDA_ARCH_LIST="12.0"
   
   # xformers mit optimierten Build-Flags aus den Quellen installieren
   pip install -v --no-build-isolation -U git+https://github.com/facebookresearch/xformers.git@main#egg=xformers

   Der --no-build-isolation Schalter hilft, potenzielle Build-Probleme in WSL-Umgebungen zu vermeiden.