> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/blog/fine-tuning-llms-with-blackwell-rtx-50-series-and-unsloth.md). # Feinabstimmung von LLMs mit Blackwell, der RTX-50-Serie & Unsloth Erfahren Sie in unserer Schritt-für-Schritt-Anleitung, wie Sie LLMs auf NVIDIAs Blackwell-, RTX-50-Serie- und B200-GPUs feinabstimmen. Unsloth unterstützt jetzt NVIDIA-GPUs mit Blackwell-Architektur, einschließlich RTX-50er-GPUs (5060–5090), RTX PRO 6000 und GPUs wie B200, B40, GB100, GB102 und mehr! Sie können den offiziellen [NVIDIA-Blogbeitrag hier lesen](https://developer.nvidia.com/blog/train-an-llm-on-an-nvidia-blackwell-desktop-with-unsloth-and-scale-it/). Unsloth ist jetzt mit jeder NVIDIA-GPU ab 2018 kompatibel, einschließlich der [DGX Spark](/docs/de/blog/fine-tuning-llms-with-nvidia-dgx-spark-and-unsloth.md). > **Unsere neuen** [**Du kannst Unsloth auch mit unserem**](#docker) **unterstützt Blackwell. Führen Sie das Docker-Image aus und starten Sie das Training!** [**Anleitung**](/docs/de/blog/fine-tuning-llms-with-blackwell-rtx-50-series-and-unsloth.md) ### Per Pip installieren Installiere Unsloth einfach: ```bash installieren. ``` Falls Probleme auftreten, ist eine weitere Option, eine separate isolierte Umgebung zu erstellen: ```bash python -m venv unsloth source unsloth/bin/activate installieren. ``` Beachte, dass es möglicherweise `pip3` oder `pip3.13` und außerdem `python3` oder `python3.13` Möglicherweise treten einige Xformers-Probleme auf; in diesem Fall sollten Sie aus dem Quellcode bauen: {% code overflow="wrap" %} ```bash # Deinstalliere zuerst das von vorherigen Bibliotheken installierte xformers pip uninstall xformers -y # Klonen und bauen pip install ninja export TORCH_CUDA_ARCH_LIST="12.0" git clone --depth=1 https://github.com/facebookresearch/xformers --recursive cd xformers && python setup.py install && cd .. ``` {% endcode %} ### Docker [**`unsloth/unsloth`**](https://hub.docker.com/r/unsloth/unsloth) ist Unsloths einziges Docker-Image. Für Blackwell- und 50er-GPUs verwenden Sie dasselbe Image – kein separates Image erforderlich. Für Installationsanweisungen folgen Sie bitte unserem [Unsloth-Docker-Leitfaden](/docs/de/blog/how-to-fine-tune-llms-with-unsloth-and-docker.md). ### uv ```bash uv pip install unsloth ``` #### uv (Erweitert) Die Installationsreihenfolge ist wichtig, da wir die mitgelieferten Abhängigkeiten mit bestimmten Versionen überschreiben wollen (nämlich, `xformers` und `triton`). 1. Ich verwende lieber `uv` anstelle von `pip` da es schneller ist und Abhängigkeiten besser auflöst, besonders für Bibliotheken, die von `torch` aber für die eine bestimmte `CUDA` -Version für diesen Fall erforderlich ist. Installieren `uv` ```bash curl -LsSf https://astral.sh/uv/install.sh | sh && source $HOME/.local/bin/env ``` Erstellen Sie ein Projektverzeichnis und eine venv: ```bash mkdir 'unsloth-blackwell' && cd 'unsloth-blackwell' uv venv .venv --python=3.12 --seed source .venv/bin/activate ``` 2. Installieren `vllm` ```bash uv pip install -U vllm --torch-backend=cu128 ``` Beachten Sie, dass wir `cu128`, andernfalls `vllm` wird installiert `torch==2.7.0` aber mit `cu126`. 3. Installieren `unsloth` Abhängigkeiten ```bash uv pip install unsloth unsloth_zoo bitsandbytes ``` Wenn Sie merkwürdige Auflösungsprobleme aufgrund von Xformers bemerken, können Sie Unsloth auch ohne Xformers aus dem Quellcode installieren: ```bash uv pip install -qqq \ "unsloth_zoo[base] @ git+https://github.com/unslothai/unsloth-zoo" \ "unsloth[base] @ git+https://github.com/unslothai/unsloth" ``` 4. Herunterladen und bauen `xformers` (Optional) Xformers ist optional, aber es ist deutlich schneller und verbraucht weniger Speicher. Wir verwenden die native SDPA von PyTorch, wenn Sie Xformers nicht möchten. Xformers aus dem Quellcode zu bauen, kann langsam sein, also Vorsicht! ```bash # Deinstalliere zuerst das von vorherigen Bibliotheken installierte xformers pip uninstall xformers -y # Klonen und bauen pip install ninja export TORCH_CUDA_ARCH_LIST="12.0" git clone --depth=1 https://github.com/facebookresearch/xformers --recursive cd xformers && python setup.py install && cd .. ``` Beachten Sie, dass wir explizit `TORCH_CUDA_ARCH_LIST=12.0`. 5. `transformers` Installieren Sie irgendeine transformers-Version, am besten jedoch die neueste. ```bash uv pip install -U transformers ``` ### Conda oder mamba (Erweitert) 1. Installieren `conda/mamba` ```bash curl -L -O "https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-$(uname)-$(uname -m).sh" ``` Führen Sie das Installationsskript aus ```bash bash Miniforge3-$(uname)-$(uname -m).sh ``` Erstellen Sie eine conda- oder mamba-Umgebung ```bash conda create --name unsloth-blackwell python==3.12 -y ``` Neu erstellte Umgebung aktivieren ```bash conda activate unsloth-blackwell ``` 2. Installieren `vllm` Stellen Sie sicher, dass Sie sich in der aktivierten conda-/mamba-Umgebung befinden. Sie sollten den Namen Ihrer Umgebung als Präfix vor Ihrer Terminal-Shell sehen, etwa so: `(unsloth-blackwell)user@machine:` ```bash pip install -U vllm --extra-index-url https://download.pytorch.org/whl/cu128 ``` Beachten Sie, dass wir `cu128`, andernfalls `vllm` wird installiert `torch==2.7.0` aber mit `cu126`. 3. Installieren `unsloth` Abhängigkeiten Stellen Sie sicher, dass Sie sich in der aktivierten conda-/mamba-Umgebung befinden. Sie sollten den Namen Ihrer Umgebung als Präfix vor Ihrer Terminal-Shell sehen, etwa so: `(unsloth-blackwell)user@machine:` ```bash pip install unsloth unsloth_zoo bitsandbytes ``` 4. Herunterladen und bauen `xformers` (Optional) Xformers ist optional, aber es ist deutlich schneller und verbraucht weniger Speicher. Wir verwenden die native SDPA von PyTorch, wenn Sie Xformers nicht möchten. Xformers aus dem Quellcode zu bauen, kann langsam sein, also Vorsicht! Sie sollten den Namen Ihrer Umgebung als Präfix vor Ihrer Terminal-Shell sehen, etwa so: `(unsloth-blackwell)user@machine:` ```bash # Deinstalliere zuerst das von vorherigen Bibliotheken installierte xformers pip uninstall xformers -y # Klonen und bauen pip install ninja export TORCH_CUDA_ARCH_LIST="12.0" git clone --depth=1 https://github.com/facebookresearch/xformers --recursive cd xformers && python setup.py install && cd .. ``` Beachten Sie, dass wir explizit `TORCH_CUDA_ARCH_LIST=12.0`. 5. `Transformers` Installieren Sie irgendeine transformers-Version, am besten jedoch die neueste. ```bash uv pip install -U transformers ``` Wenn Sie mamba als Ihr Paketverwaltungswerkzeug verwenden, ersetzen Sie conda einfach in allen oben gezeigten Befehlen durch mamba. Nicht aktualisieren `triton` für sich allein. Jede `torch` Version pinnt die exakte `triton` mit der es gebaut wurde (die Blackwell bereits unterstützt), daher `pip install -U triton` verursacht Fehler wie `torch ... erfordert triton==X, aber Sie haben triton Y, was inkompatibel ist`. Falls Sie das bereits getan haben, installieren Sie die im Fehler genannte Version, zum Beispiel `pip install "triton==3.7.1"`. ### WSL-spezifische Hinweise Wenn Sie WSL (Windows Subsystem for Linux) verwenden und bei der xformers-Kompilierung Probleme auftreten (Hinweis: Xformers ist optional, aber schneller für das Training), befolgen Sie diese zusätzlichen Schritte: 1. **WSL-Speicherlimit erhöhen** Erstellen oder bearbeiten Sie die WSL-Konfigurationsdatei: ```bash # Erstellen oder bearbeiten Sie .wslconfig in Ihrem Windows-Benutzerverzeichnis # (typischerweise C:\Users\YourUsername\.wslconfig) # Fügen Sie diese Zeilen der Datei hinzu [wsl2] memory=16GB # Mindestens 16 GB für das Kompilieren von xformers empfohlen processors=4 # Passen Sie dies an Ihre CPU-Kerne an swap=2GB localhostForwarding=true ``` Starten Sie WSL nach diesen Änderungen neu: ```powershell wsl --shutdown ``` 2. **xformers installieren** Verwenden Sie den folgenden Befehl, um xformers mit optimierter Kompilierung für WSL zu installieren: ```bash # CUDA-Architektur für Blackwell-GPUs festlegen export TORCH_CUDA_ARCH_LIST="12.0" # xformers aus dem Quellcode mit optimierten Build-Flags installieren pip install -v --no-build-isolation -U git+https://github.com/facebookresearch/xformers.git@main#egg=xformers ``` Der `--no-build-isolation` Der Schalter hilft, potenzielle Build-Probleme in WSL-Umgebungen zu vermeiden. --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation by asking a question. Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters: ``` GET https://unsloth.ai/docs/de/blog/fine-tuning-llms-with-blackwell-rtx-50-series-and-unsloth.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.