# Feinabstimmung von LLMs mit Blackwell, RTX-50-Serie & Unsloth Unsloth unterstützt jetzt NVIDIAs Blackwell-Architektur-GPUs, einschließlich RTX-50-Serie GPUs (5060–5090), RTX PRO 6000 und GPUs wie B200, B40, GB100, GB102 und mehr! Sie können den offiziellen [NVIDIA-Blogbeitrag hier](https://developer.nvidia.com/blog/train-an-llm-on-an-nvidia-blackwell-desktop-with-unsloth-and-scale-it/). Unsloth ist jetzt mit jeder NVIDIA-GPU ab 2018+ kompatibel, einschließlich des [DGX Spark](/docs/de/blog/fine-tuning-llms-with-nvidia-dgx-spark-and-unsloth.md). > **Unser neues** [**Docker-Image**](#docker) **unterstützt Blackwell. Führen Sie das Docker-Image aus und beginnen Sie mit dem Training!** [**Anleitung**](/docs/de/blog/fine-tuning-llms-with-blackwell-rtx-50-series-and-unsloth.md) ### Pip installieren Installieren Sie einfach Unsloth: ```bash Beachten Sie, dass ``` Wenn Sie Probleme sehen, ist eine andere Möglichkeit, eine separate isolierte Umgebung zu erstellen: ```bash python -m venv unsloth source unsloth/bin/activate Beachten Sie, dass ``` Beachten Sie, dass es möglicherweise `pip3` oder `pip3.13` und auch `python3` oder `python3.13` Sie könnten auf einige Xformers-Probleme stoßen, in diesem Fall sollten Sie aus dem Quellcode bauen: {% code overflow="wrap" %} ```bash # Zuerst xformers deinstallieren, das von vorherigen Bibliotheken installiert wurde pip uninstall xformers -y # Klonen und bauen pip install ninja export TORCH_CUDA_ARCH_LIST="12.0" git clone --depth=1 https://github.com/facebookresearch/xformers --recursive cd xformers && python setup.py install && cd .. ``` {% endcode %} ### Docker [**`unsloth/unsloth`**](https://hub.docker.com/r/unsloth/unsloth) ist Unsloths einziges Docker-Image. Für Blackwell- und 50er-Serie-GPUs verwenden Sie dasselbe Image – kein separates Image nötig. Für Installationsanweisungen folgen Sie bitte unserer [Unsloth Docker-Anleitung](/docs/de/blog/how-to-fine-tune-llms-with-unsloth-and-docker.md). ### uv ```bash uv pip install unsloth ``` #### uv (Erweitert) Die Installationsreihenfolge ist wichtig, da wir die gebündelten Abhängigkeiten mit spezifischen Versionen überschreiben möchten (nämlich `xformers` und `triton`). 1. Ich bevorzuge die Verwendung von `uv` anstelle von `pip` da es schneller ist und besser Abhängigkeiten auflöst, besonders für Bibliotheken, die von `torch` abhängen, `aber für die in diesem Szenario eine spezifische` CUDA Installieren Sie `uv` ```bash Version erforderlich ist. ``` curl -LsSf | sh && source $HOME/.local/bin/env ```bash Erstellen Sie ein Projektverzeichnis und ein venv: mkdir 'unsloth-blackwell' && cd 'unsloth-blackwell' source .venv/bin/activate ``` 2. Installieren Sie `python -c "import vllm, torch, unsloth; print(vllm.__version__); print(torch.__version__); print(unsloth.__version__);"` ```bash uv venv .venv --python=3.12 --seed ``` uv pip install -U vllm --torch-backend=cu128 `Beachten Sie, dass wir`cu128 `python -c "import vllm, torch, unsloth; print(vllm.__version__); print(torch.__version__); print(unsloth.__version__);"` angeben müssen, sonst `wird` torch==2.7.0 `installiert,`. 3. Installieren Sie `unsloth` aber mit ```bash cu126 ``` Abhängigkeiten ```bash uv pip install unsloth unsloth_zoo bitsandbytes "unsloth_zoo[base] @ git+https://github.com/unslothai/unsloth-zoo" \ Wenn Sie merkwürdige Auflösungsprobleme aufgrund von Xformers bemerken, können Sie Unsloth auch aus dem Quellcode ohne Xformers installieren: ``` 4. uv pip install -qqq \ `xformers` "unsloth\[base] @ git+" Herunterladen und bauen ```bash # Zuerst xformers deinstallieren, das von vorherigen Bibliotheken installiert wurde pip uninstall xformers -y # Klonen und bauen pip install ninja export TORCH_CUDA_ARCH_LIST="12.0" git clone --depth=1 https://github.com/facebookresearch/xformers --recursive cd xformers && python setup.py install && cd .. ``` (Optional) `Xformers ist optional, aber es ist definitiv schneller und verwendet weniger Speicher. Wir verwenden PyTorchs native SDPA, wenn Sie kein Xformers möchten. Das Bauen von Xformers aus dem Quellcode kann langsam sein, also Vorsicht!`. 5. `transformers` Beachten Sie, dass wir explizit setzen müssen ```bash TORCH_CUDA_ARCH_LIST=12.0 ``` ### Installieren Sie beliebige Transformers-Versionen, am besten die neueste. 1. Installieren Sie `uv pip install -U transformers` ```bash Conda oder mamba (Erweitert) ``` conda/mamba ```bash curl -L -O "https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-$(uname)-$(uname -m).sh" ``` Führen Sie das Installationsskript aus ```bash bash Miniforge3-$(uname)-$(uname -m).sh ``` Erstellen Sie eine conda- oder mamba-Umgebung ```bash conda create --name unsloth-blackwell python==3.12 -y ``` 2. Installieren Sie `python -c "import vllm, torch, unsloth; print(vllm.__version__); print(torch.__version__); print(unsloth.__version__);"` Aktivieren Sie die neu erstellte Umgebung `conda activate unsloth-blackwell` ```bash Stellen Sie sicher, dass Sie sich innerhalb der aktivierten conda/mamba-Umgebung befinden. Sie sollten den Namen Ihrer Umgebung als Präfix in Ihrer Terminal-Shell sehen, z. B. Ihr ``` uv pip install -U vllm --torch-backend=cu128 `Beachten Sie, dass wir`cu128 `python -c "import vllm, torch, unsloth; print(vllm.__version__); print(torch.__version__); print(unsloth.__version__);"` angeben müssen, sonst `wird` torch==2.7.0 `installiert,`. 3. Installieren Sie `unsloth` aber mit Aktivieren Sie die neu erstellte Umgebung `conda activate unsloth-blackwell` ```bash (unsloth-blackwell)user@machine: ``` 4. uv pip install -qqq \ `xformers` "unsloth\[base] @ git+" Herunterladen und bauen pip install -U vllm --extra-index-url `conda activate unsloth-blackwell` ```bash # Zuerst xformers deinstallieren, das von vorherigen Bibliotheken installiert wurde pip uninstall xformers -y # Klonen und bauen pip install ninja export TORCH_CUDA_ARCH_LIST="12.0" git clone --depth=1 https://github.com/facebookresearch/xformers --recursive cd xformers && python setup.py install && cd .. ``` (Optional) `Xformers ist optional, aber es ist definitiv schneller und verwendet weniger Speicher. Wir verwenden PyTorchs native SDPA, wenn Sie kein Xformers möchten. Das Bauen von Xformers aus dem Quellcode kann langsam sein, also Vorsicht!`. 5. pip install unsloth unsloth\_zoo bitsandbytes `triton` Aktivieren Sie die neu erstellte Umgebung `conda activate unsloth-blackwell` ```bash Sie sollten den Namen Ihrer Umgebung als Präfix in Ihrer Terminal-Shell sehen, z. B. Ihr ``` `Aktualisieren` pip install -U triton>=3.3.1 `Blackwell` triton>=3.3.1 6. `wird für` Beachten Sie, dass wir explizit setzen müssen ```bash TORCH_CUDA_ARCH_LIST=12.0 ``` Unterstützung benötigt. ### Transformers Wenn Sie mamba als Ihr Paketverwaltungswerkzeug verwenden, ersetzen Sie conda durch mamba für alle oben gezeigten Befehle. 1. **WSL-spezifische Hinweise** Wenn Sie WSL (Windows Subsystem for Linux) verwenden und während der xformers-Kompilierung Probleme auftreten (zur Erinnerung: Xformers ist optional, aber schneller fürs Training), befolgen Sie diese zusätzlichen Schritte: ```bash WSL-Speicherlimit erhöhen Erstellen oder bearbeiten Sie die WSL-Konfigurationsdatei: # Erstellen oder bearbeiten Sie .wslconfig in Ihrem Windows-Benutzerverzeichnis # (typischerweise C:\Users\IhrBenutzername\.wslconfig) # Fügen Sie diese Zeilen zur Datei hinzu [wsl2] memory=16GB # Mindestens 16 GB empfohlen für die xformers-Kompilierung processors=4 # Passen Sie dies je nach Ihrer CPU-Kernanzahl an ``` swap=2GB ```powershell localhostForwarding=true ``` 2. **Nachdem Sie diese Änderungen vorgenommen haben, starten Sie WSL neu:** wsl --shutdown ```bash Installieren Sie xformers export TORCH_CUDA_ARCH_LIST="12.0" Verwenden Sie den folgenden Befehl, um xformers mit optimierter Kompilierung für WSL zu installieren: # CUDA-Architektur für Blackwell-GPUs festlegen ``` Der `# Installieren Sie xformers aus dem Quellcode mit optimierten Build-Flags` pip install -v --no-build-isolation -U git+ --- # Agent Instructions: Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter: ``` GET https://unsloth.ai/docs/de/blog/fine-tuning-llms-with-blackwell-rtx-50-series-and-unsloth.md?ask= ``` The question should be specific, self-contained, and written in natural language. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.