> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/blog/fine-tuning-llms-with-blackwell-rtx-50-series-and-unsloth.md).

# Fine-Tuning von LLMs mit Blackwell, RTX-50-Serie & Unsloth

Unsloth unterstützt jetzt NVIDIA-GPUs mit Blackwell-Architektur, einschließlich RTX-50er-GPUs (5060–5090), RTX PRO 6000 und GPUs wie B200, B40, GB100, GB102 und mehr! Den offiziellen [NVIDIA-Blogbeitrag hier](https://developer.nvidia.com/blog/train-an-llm-on-an-nvidia-blackwell-desktop-with-unsloth-and-scale-it/).

Unsloth ist jetzt mit jeder NVIDIA-GPU ab 2018 kompatibel, einschließlich des [DGX Spark](/docs/de/blog/fine-tuning-llms-with-nvidia-dgx-spark-and-unsloth.md).

> **Unser neues** [**Docker-Image**](#docker) **unterstützt Blackwell. Starten Sie das Docker-Image und beginnen Sie mit dem Training!** [**Anleitung**](/docs/de/blog/fine-tuning-llms-with-blackwell-rtx-50-series-and-unsloth.md)

### Pip installieren

Installieren Sie Unsloth einfach:

```bash
pip install unsloth
```

Falls Probleme auftreten, ist eine weitere Option, eine separate isolierte Umgebung zu erstellen:

```bash
python -m venv unsloth
source unsloth/bin/activate
pip install unsloth
```

Beachten Sie, dass es möglicherweise `pip3` oder `pip3.13` und auch `python3` oder `python3.13`

Es kann sein, dass Sie auf einige Xformers-Probleme stoßen; in diesem Fall sollten Sie aus den Quellen bauen:

{% code overflow="wrap" %}

```bash
# Zuerst das von vorherigen Bibliotheken installierte xformers deinstallieren
pip uninstall xformers -y

# Klonen und bauen
pip install ninja
export TORCH_CUDA_ARCH_LIST="12.0"
git clone --depth=1 https://github.com/facebookresearch/xformers --recursive
cd xformers && python setup.py install && cd ..
```

{% endcode %}

### Docker

[**`unsloth/unsloth`**](https://hub.docker.com/r/unsloth/unsloth) ist Unsloths einziges Docker-Image. Für Blackwell- und 50er-GPUs verwenden Sie dasselbe Image – kein separates Image erforderlich.

Für Installationsanweisungen folgen Sie bitte unserer [Unsloth-Docker-Anleitung](/docs/de/blog/how-to-fine-tune-llms-with-unsloth-and-docker.md).

### uv

```bash
uv pip install unsloth
```

#### uv (Erweitert)

Die Installationsreihenfolge ist wichtig, da wir die gebündelten Abhängigkeiten durch bestimmte Versionen überschreiben wollen (nämlich `xformers` und `triton`).

1. Ich bevorzuge `uv` gegenüber `pip` weil es schneller ist und Abhängigkeiten besser auflöst, insbesondere für Bibliotheken, die von `torch` abhängen, für die aber in diesem Szenario eine bestimmte `CUDA` -Version erforderlich ist.

   Installieren `uv`

   ```bash
   curl -LsSf https://astral.sh/uv/install.sh | sh && source $HOME/.local/bin/env
   ```

   Erstellen Sie ein Projektverzeichnis und eine venv:

   ```bash
   mkdir 'unsloth-blackwell' && cd 'unsloth-blackwell'
   uv venv .venv --python=3.12 --seed
   source .venv/bin/activate
   ```
2. Installieren `vllm`

   ```bash
   uv pip install -U vllm --torch-backend=cu128
   ```

   Beachten Sie, dass wir `cu128`angeben müssen, andernfalls `vllm` wird installiert `torch==2.7.0` aber mit `cu126`.
3. Installieren `unsloth` Abhängigkeiten

   ```bash
   uv pip install unsloth unsloth_zoo bitsandbytes
   ```

   Falls Sie wegen Xformers seltsame Auflösungsprobleme bemerken, können Sie Unsloth auch aus den Quellen ohne Xformers installieren:

   ```bash
   uv pip install -qqq \
   "unsloth_zoo[base] @ git+https://github.com/unslothai/unsloth-zoo" \
   "unsloth[base] @ git+https://github.com/unslothai/unsloth"
   ```
4. Herunterladen und bauen `xformers` (Optional)

   Xformers ist optional, aber es ist definitiv schneller und verbraucht weniger Speicher. Wir verwenden die native SDPA von PyTorch, wenn Sie Xformers nicht möchten. Das Erstellen von Xformers aus den Quellen kann langsam sein, also Vorsicht!

   ```bash
   # Zuerst das von vorherigen Bibliotheken installierte xformers deinstallieren
   pip uninstall xformers -y

   # Klonen und bauen
   pip install ninja
   export TORCH_CUDA_ARCH_LIST="12.0"
   git clone --depth=1 https://github.com/facebookresearch/xformers --recursive
   cd xformers && python setup.py install && cd ..
   ```

   Beachten Sie, dass wir ausdrücklich `TORCH_CUDA_ARCH_LIST=12.0`.
5. `transformers` Installieren Sie eine beliebige transformers-Version, am besten jedoch die neueste.

   ```bash
   uv pip install -U transformers
   ```

### Conda oder mamba (Erweitert)

1. Installieren `conda/mamba`

   ```bash
   curl -L -O "https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-$(uname)-$(uname -m).sh"
   ```

   Führen Sie das Installationsskript aus

   ```bash
   bash Miniforge3-$(uname)-$(uname -m).sh
   ```

   Erstellen Sie eine conda- oder mamba-Umgebung

   ```bash
   conda create --name unsloth-blackwell python==3.12 -y
   ```

   Neu erstellte Umgebung aktivieren

   ```bash
   conda activate unsloth-blackwell
   ```
2. Installieren `vllm`

   Stellen Sie sicher, dass Sie sich innerhalb der aktivierten conda-/mamba-Umgebung befinden. Sie sollten den Namen Ihrer Umgebung als Präfix in Ihrer Terminal-Shell sehen, etwa so: `(unsloth-blackwell)user@machine:`

   ```bash
   pip install -U vllm --extra-index-url https://download.pytorch.org/whl/cu128
   ```

   Beachten Sie, dass wir `cu128`angeben müssen, andernfalls `vllm` wird installiert `torch==2.7.0` aber mit `cu126`.
3. Installieren `unsloth` Abhängigkeiten

   Stellen Sie sicher, dass Sie sich innerhalb der aktivierten conda-/mamba-Umgebung befinden. Sie sollten den Namen Ihrer Umgebung als Präfix in Ihrer Terminal-Shell sehen, etwa so: `(unsloth-blackwell)user@machine:`

   ```bash
   pip install unsloth unsloth_zoo bitsandbytes
   ```
4. Herunterladen und bauen `xformers` (Optional)

   Xformers ist optional, aber es ist definitiv schneller und verbraucht weniger Speicher. Wir verwenden die native SDPA von PyTorch, wenn Sie Xformers nicht möchten. Das Erstellen von Xformers aus den Quellen kann langsam sein, also Vorsicht!

   Sie sollten den Namen Ihrer Umgebung als Präfix in Ihrer Terminal-Shell sehen, etwa so: `(unsloth-blackwell)user@machine:`

   ```bash
   # Zuerst das von vorherigen Bibliotheken installierte xformers deinstallieren
   pip uninstall xformers -y

   # Klonen und bauen
   pip install ninja
   export TORCH_CUDA_ARCH_LIST="12.0"
   git clone --depth=1 https://github.com/facebookresearch/xformers --recursive
   cd xformers && python setup.py install && cd ..
   ```

   Beachten Sie, dass wir ausdrücklich `TORCH_CUDA_ARCH_LIST=12.0`.
5. Aktualisieren `triton`

   Stellen Sie sicher, dass Sie sich innerhalb der aktivierten conda-/mamba-Umgebung befinden. Sie sollten den Namen Ihrer Umgebung als Präfix in Ihrer Terminal-Shell sehen, etwa so: `(unsloth-blackwell)user@machine:`

   ```bash
   pip install -U "triton>=3.3.1"
   ```

   `triton>=3.3.1` ist erforderlich für `Blackwell` Unterstützung.
6. `Transformers` Installieren Sie eine beliebige transformers-Version, am besten jedoch die neueste.

   ```bash
   uv pip install -U transformers
   ```

Wenn Sie mamba als Ihr Paket verwenden, ersetzen Sie einfach in allen oben gezeigten Befehlen conda durch mamba.

### WSL-spezifische Hinweise

Wenn Sie WSL (Windows Subsystem for Linux) verwenden und beim Kompilieren von xformers auf Probleme stoßen (zur Erinnerung: Xformers ist optional, aber für das Training schneller), befolgen Sie diese zusätzlichen Schritte:

1. **WSL-Speicherlimit erhöhen** Erstellen oder bearbeiten Sie die WSL-Konfigurationsdatei:

   ```bash
   # .wslconfig in Ihrem Windows-Benutzerverzeichnis erstellen oder bearbeiten
   # (typischerweise C:\Users\IhrBenutzername\.wslconfig)

   # Fügen Sie diese Zeilen zur Datei hinzu
   [wsl2]
   memory=16GB  # Mindestens 16 GB für die Kompilierung von xformers empfohlen
   processors=4  # Je nach CPU-Kernen anpassen
   swap=2GB
   localhostForwarding=true
   ```

   Nachdem Sie diese Änderungen vorgenommen haben, starten Sie WSL neu:

   ```powershell
   wsl --shutdown
   ```
2. **xformers installieren** Verwenden Sie den folgenden Befehl, um xformers mit optimierter Kompilierung für WSL zu installieren:

   ```bash
   # CUDA-Architektur für Blackwell-GPUs festlegen
   export TORCH_CUDA_ARCH_LIST="12.0"

   # xformers mit optimierten Build-Flags aus den Quellen installieren
   pip install -v --no-build-isolation -U git+https://github.com/facebookresearch/xformers.git@main#egg=xformers
   ```

   Der `--no-build-isolation` Schalter hilft, potenzielle Build-Probleme in WSL-Umgebungen zu vermeiden.


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter:

```
GET https://unsloth.ai/docs/de/blog/fine-tuning-llms-with-blackwell-rtx-50-series-and-unsloth.md?ask=<question>
```

The question should be specific, self-contained, and written in natural language.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.