> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/blog/dgx-station.md).
# Feinabstimmung von LLMs auf der NVIDIA DGX Station mit Unsloth
NVIDIA-DGX-Station-Tutorial zur Feinabstimmung mit Notebooks von Unsloth.
Sie können jetzt LLMs lokal auf Ihrer NVIDIA DGX Station mit [Unsloth](https://github.com/unslothai/unsloth). DGX Station verfügt über mehr als **\~200 GB VRAM** und über **700 GB einheitlichen GPU-/CPU-Speicher** und kombiniert eine Grace-CPU und eine Blackwell-GPU in einem eng verbundenen System, das für große KI-Workloads ausgelegt ist. Verbunden durch NVLink-C2C bleiben CPU und GPU zwar getrennt, arbeiten aber deutlich effizienter zusammen als in einem herkömmlichen CPU-GPU-Setup.
In diesem Leitfaden verwenden wir Unsloth-Notebooks zum Trainieren [Qwen3.5](#qwen3.5-35b-a3b-fine-tuning) und [gpt-oss-120b](#gpt-oss-120b-fine-tuning) auf der DGX Station. Vielen Dank an NVIDIA, dass sie uns frühe DGX-Station-Hardware zur Verfügung gestellt haben, um Unsloth darauf zu testen!
### Schnellstart
Sie benötigen `python3` installiert, und insbesondere werden die Dev-Header benötigt. Auf unserem System haben wir `python 3.12` also werden wir die Dev-Header für 3.12 installieren.
```bash
sudo apt update
sudo apt install python3.12-dev
```
Erstellen Sie dann eine frische virtuelle Umgebung, um [Unsloth](https://github.com/unslothai/unsloth). Auf diese Weise minimieren wir Abhängigkeitskonflikte und bewahren den Zustand der aktuellen Arbeitsumgebung.
{% code overflow="wrap" %}
```bash
python3 -m venv .unsloth
source .unsloth/bin/activate
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu130
```
{% endcode %}
{% hint style="warning" %}
Zuerst installieren `torch` aus dem `CUDA 13` Index, sonst könnten wir die CPU-Version oder eine Nichtübereinstimmung bei Architektur und Fähigkeiten erhalten!
{% endhint %}
Jetzt können wir Unsloth installieren:
```bash
installieren.
```
Jetzt installieren wir `xformers` und optional bauen `flash-attention` aus dem Quellcode. Beide Pakete brauchen Zeit, also bitte etwas Geduld, während sie gebaut werden.
{% code overflow="wrap" expandable="true" %}
```bash
pip install --no-deps --no-build-isolation xformers==0.0.33.post1
# Optional flash-attn
# Klonen und bauen (zielt auf sm_100 für B300)
git clone https://github.com/Dao-AILab/flash-attention
cd flash-attention
# B300 = sm_100, Architektur explizit festlegen
TORCH_CUDA_ARCH_LIST="10.0" MAX_JOBS=8 pip install . --no-build-isolation
cd ..
```
{% endcode %}
{% columns %}
{% column %}
Für Qwen 3.5 MoE möchten wir zwei Kernel-Pakete herunterladen `flash-linear-attention` und `causal-conv1d` um es schnell zu machen.
{% code overflow="wrap" expandable="true" %}
```bash
pip install --no-build-isolation flash-linear-attention causal_conv1d==1.6.0
```
{% endcode %}
{% endcolumn %}
{% column %}
{% endcolumn %}
{% endcolumns %}
Wenn Sie noch keinen Notebook-Client haben, installieren Sie einen. Für diesen Leitfaden verwenden wir Jupyter Notebook:
{% code overflow="wrap" expandable="true" %}
```bash
cd ..
pip install notebook
pip install ipywidgets
```
{% endcode %}
Schließlich laden wir die eigentlichen Unsloth-Notebooks zum Ausführen herunter. Es gibt über 250 Notebooks für das LLM-Training sowie Python-Skripte.
{% code overflow="wrap" expandable="true" %}
```bash
git clone https://github.com/unslothai/notebooks.git
cd notebooks
```
{% endcode %}
### Trainings-Tutorials
{% columns %}
{% column %}
Jetzt können wir Jupyter Notebook starten und im Browser zur Benutzeroberfläche navigieren.
{% code overflow="wrap" expandable="true" %}
```bash
jupyter notebook
```
{% endcode %}
{% endcolumn %}
{% column %}
{% endcolumn %}
{% endcolumns %}
{% columns %}
{% column %}
Kopieren und fügen Sie die `localhost` Seite mit dem Token-Parameter ein und fügen Sie sie in Ihren Browser ein. Sie sollten etwas wie Folgendes sehen:
Der `nb` Ordner enthält alle Notebooks zum Ausführen.
{% endcolumn %}
{% column %}
{% endcolumn %}
{% endcolumns %}
#### Qwen3.5-35B-A3B-Training
{% columns %}
{% column %}
Öffnen Sie die Datei `nb/Qwen3_5_MoE.ipynb`. Überspringen Sie den Installationsabschnitt, da wir bereits alles installiert haben, was wir brauchen. Navigieren Sie zum Unsloth-Abschnitt und beginnen Sie dort mit der Ausführung der Zellen.
{% endcolumn %}
{% column %}
{% endcolumn %}
{% endcolumns %}
{% columns %}
{% column %}
Das Notebook behandelt die Modellkonfiguration, die Vorbereitung des Datensatzes und die Trainer-Konfiguration. Jeder Schritt kann einige Zeit dauern, da wir ein sehr großes Modell herunterladen, Milliarden von Gewichten initialisieren und weiter optimieren, um es schnell laufen zu lassen.
{% endcolumn %}
{% column %}
{% endcolumn %}
{% endcolumns %}
Das Training ist mit der Standardeinstellung sehr schnell. Auf der DGX Station gibt es reichlich Speicher, sodass Sie mit den Standard-Trainings-Hyperparametern experimentieren können, um Speicher und Rechenleistung wirklich auszulasten. Sobald das Training abgeschlossen ist, können Sie das Modell für die spätere Verwendung speichern, das Modell auf den Hugging Face Hub hochladen, um es mit anderen zu teilen, oder in ein quantisiertes Format exportieren.
#### gpt-oss-120b-Training
{% columns %}
{% column %}
Öffnen Sie die Datei `nb/gpt-oss-(120B)_A100-Fine-tuning.ipynb`. Überspringen Sie den Installationsabschnitt, da wir die Voraussetzungen bereits installiert haben, und navigieren Sie zum Unsloth-Abschnitt. Von dort aus können wir mit der Ausführung des Notebooks beginnen. Das Notebook wird etwa 72 GB GPU-Speicher verwenden und ungefähr 10 Minuten dauern.
{% endcolumn %}
{% column %}
{% endcolumn %}
{% endcolumns %}
{% columns %}
{% column %}
Jede Zelle kann einige Zeit zur Ausführung benötigen, da wir das Modell herunterladen, die Gewichte initialisieren und weiter optimieren müssen, um eine schnelle Nutzung zu ermöglichen. Das Notebook durchläuft die Vorverarbeitung des Datensatzes und die Einrichtung des Trainers. Sobald wir bei der `trainer.train()` Zelle angekommen sind und sie ausführen, beginnt das Training.
{% endcolumn %}
{% column %}
{% endcolumn %}
{% endcolumns %}
Jetzt, da es abgeschlossen ist, können wir das Modell für die spätere Verwendung speichern, es auf den Hugging Face Hub hochladen, um es mit der Welt zu teilen, oder es in das GGUF-Format exportieren.
Lesen Sie mehr über NVIDIAs DGX Station unter
---
# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.
## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.
Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:
```
GET https://unsloth.ai/docs/de/blog/dgx-station.md?ask=&goal=
```
`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
