Zum Inhalt springen
For the complete documentation index, see llms.txt. This page is also available as Markdown.

Feinabstimmung von LLMs auf der NVIDIA DGX Station mit Unsloth

NVIDIA-DGX-Station-Tutorial zur Feinabstimmung mit Notebooks von Unsloth.

Sie können jetzt LLMs lokal auf Ihrer NVIDIA DGX Station mit Unsloth. DGX Station verfügt über mehr als ~200 GB VRAM und über 700 GB einheitlichen GPU-/CPU-Speicher und kombiniert eine Grace-CPU und eine Blackwell-GPU in einem eng verbundenen System, das für große KI-Workloads ausgelegt ist. Verbunden durch NVLink-C2C bleiben CPU und GPU zwar getrennt, arbeiten aber deutlich effizienter zusammen als in einem herkömmlichen CPU-GPU-Setup.

In diesem Leitfaden verwenden wir Unsloth-Notebooks zum Trainieren Qwen3.5 und gpt-oss-120b auf der DGX Station. Vielen Dank an NVIDIA, dass sie uns frühe DGX-Station-Hardware zur Verfügung gestellt haben, um Unsloth darauf zu testen!

Schnellstart

Sie benötigen python3 installiert, und insbesondere werden die Dev-Header benötigt. Auf unserem System haben wir python 3.12 also werden wir die Dev-Header für 3.12 installieren.

sudo apt update
sudo apt install python3.12-dev

Erstellen Sie dann eine frische virtuelle Umgebung, um Unsloth. Auf diese Weise minimieren wir Abhängigkeitskonflikte und bewahren den Zustand der aktuellen Arbeitsumgebung.

python3 -m venv .unsloth
source .unsloth/bin/activate
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu130

Jetzt können wir Unsloth installieren:

Jetzt installieren wir xformers und optional bauen flash-attention aus dem Quellcode. Beide Pakete brauchen Zeit, also bitte etwas Geduld, während sie gebaut werden.

Für Qwen 3.5 MoE möchten wir zwei Kernel-Pakete herunterladen flash-linear-attention und causal-conv1d um es schnell zu machen.

Wenn Sie noch keinen Notebook-Client haben, installieren Sie einen. Für diesen Leitfaden verwenden wir Jupyter Notebook:

Schließlich laden wir die eigentlichen Unsloth-Notebooks zum Ausführen herunter. Es gibt über 250 Notebooks für das LLM-Training sowie Python-Skripte.

Trainings-Tutorials

Jetzt können wir Jupyter Notebook starten und im Browser zur Benutzeroberfläche navigieren.

Kopieren und fügen Sie die localhost Seite mit dem Token-Parameter ein und fügen Sie sie in Ihren Browser ein. Sie sollten etwas wie Folgendes sehen:

Der nb Ordner enthält alle Notebooks zum Ausführen.

Qwen3.5-35B-A3B-Training

Öffnen Sie die Datei nb/Qwen3_5_MoE.ipynb. Überspringen Sie den Installationsabschnitt, da wir bereits alles installiert haben, was wir brauchen. Navigieren Sie zum Unsloth-Abschnitt und beginnen Sie dort mit der Ausführung der Zellen.

Das Notebook behandelt die Modellkonfiguration, die Vorbereitung des Datensatzes und die Trainer-Konfiguration. Jeder Schritt kann einige Zeit dauern, da wir ein sehr großes Modell herunterladen, Milliarden von Gewichten initialisieren und weiter optimieren, um es schnell laufen zu lassen.

Das Training ist mit der Standardeinstellung sehr schnell. Auf der DGX Station gibt es reichlich Speicher, sodass Sie mit den Standard-Trainings-Hyperparametern experimentieren können, um Speicher und Rechenleistung wirklich auszulasten. Sobald das Training abgeschlossen ist, können Sie das Modell für die spätere Verwendung speichern, das Modell auf den Hugging Face Hub hochladen, um es mit anderen zu teilen, oder in ein quantisiertes Format exportieren.

gpt-oss-120b-Training

Öffnen Sie die Datei nb/gpt-oss-(120B)_A100-Fine-tuning.ipynb. Überspringen Sie den Installationsabschnitt, da wir die Voraussetzungen bereits installiert haben, und navigieren Sie zum Unsloth-Abschnitt. Von dort aus können wir mit der Ausführung des Notebooks beginnen. Das Notebook wird etwa 72 GB GPU-Speicher verwenden und ungefähr 10 Minuten dauern.

Jede Zelle kann einige Zeit zur Ausführung benötigen, da wir das Modell herunterladen, die Gewichte initialisieren und weiter optimieren müssen, um eine schnelle Nutzung zu ermöglichen. Das Notebook durchläuft die Vorverarbeitung des Datensatzes und die Einrichtung des Trainers. Sobald wir bei der trainer.train() Zelle angekommen sind und sie ausführen, beginnt das Training.

Jetzt, da es abgeschlossen ist, können wir das Modell für die spätere Verwendung speichern, es auf den Hugging Face Hub hochladen, um es mit der Welt zu teilen, oder es in das GGUF-Format exportieren.

Lesen Sie mehr über NVIDIAs DGX Station unter https://www.nvidia.com/en-us/products/workstations/dgx-station/

Zuletzt aktualisiert

War das hilfreich?