Wie man LLMs unter Windows mit Unsloth feinabstimmt (Schritt-für-Schritt-Anleitung)

Miniconda (oder Anaconda) installieren

Anaconda herunterladen hier. Unsere Empfehlung ist, Miniconda. Um es zu verwenden, öffnen Sie zuerst PowerShell - suchen Sie im Startmenü nach „Windows PowerShell“:

Dann öffnet sich PowerShell:

Dann das Folgende kopieren und einfügen: STRG+C, und in PowerShell STRG+V einfügen:

Invoke-WebRequest -Uri "https://repo.anaconda.com/miniconda/Miniconda3-latest-Windows-x86_64.exe" -OutFile ".\miniconda.exe"
Start-Process -FilePath ".\miniconda.exe" -ArgumentList "/S" -Wait
del .\miniconda.exe

Akzeptieren Sie die Warnung und klicken Sie auf „Trotzdem einfügen“ und warten Sie.

Der Installer wird wie unten heruntergeladen:

Nach der Installation öffnen Sie Anaconda PowerShell Prompt um Miniconda über Start -> danach suchen zu verwenden:

Dann sehen Sie:

Conda-Umgebung erstellen

conda create --name unsloth_env python==3.12 -y
conda activate unsloth_env

Sie werden Folgendes sehen:

Prüfen nvidia-smi um zu bestätigen, dass Sie eine GPU haben, und suchen Sie nach der CUDA-Version

Nach dem Eingeben von nvidia-smi in PowerShell sollten Sie etwas wie unten sehen. Wenn Sie nvidia-smi nicht haben oder das Folgende nicht angezeigt wird, müssen Sie NVIDIA-Treiber.

PyTorch installieren

Wenn Sie nvidia-smi ausführen, sehen Sie oben rechts: „CUDA Version: 13.0“. Installieren Sie PyTorch in PowerShell über. Ändern Sie 130 auf Ihre CUDA-Version - stellen Sie sicher, dass die Version existiert und mit Ihrer CUDA-Treiberversion übereinstimmt.

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu130

Sie werden Folgendes sehen:

Versuchen Sie, dies in Python über python auszuführen, nachdem PyTorch installiert ist:

import torch
print(torch.cuda.is_available())
A = torch.ones((10, 10), device = "cuda")
B = torch.ones((10, 10), device = "cuda")
A @ B

Sie sollten eine Matrix aus 10ern sehen. Prüfen Sie außerdem, ob beim ersten True zurückgegeben wird.

Unsloth installieren (nur wenn PyTorch funktioniert!)

In PowerShell (nachdem Sie Python über exit() verlassen haben, ausführen und warten:

pip install unsloth

Prüfen, ob Unsloth funktioniert

Verwenden Sie nun beliebige Skripte in Unsloth-Notebooks (als .py-Datei speichern) oder verwenden Sie das folgende einfache Skript:

Sie sollten Folgendes sehen:

🦥 Unsloth: Wir patchen Ihren Computer, um 2x schnelleres kostenloses Fine-Tuning zu ermöglichen.
🦥 Unsloth Zoo patcht jetzt alles, um das Training zu beschleunigen!
==((====))==  Unsloth 2026.1.4: Schnelles Gemma3-Patching. Transformers: 4.57.6.
   \\   /|    NVIDIA GeForce RTX 3060. Anzahl GPUs = 1. Maximale Speicherkapazität: 12,0 GB. Plattform: Windows.
O^O/ \_/ \    Torch: 2.10.0+cu130. CUDA: 8.6. CUDA Toolkit: 13.0. Triton: 3.6.0
\        /    Bfloat16 = WAHR. FA [Xformers = 0.0.34. FA2 = False]
 "-____-"     Kostenlose Lizenz: http://github.com/unslothai/unsloth
Unsloth: Schnelles Herunterladen ist aktiviert - ignorieren Sie Download-Balken in roter Farbe!
Unsloth: Gemma3 unterstützt SDPA nicht - wechsle zu schnellem Eager.
Unsloth: Mache `model.base_model.model.model` gradientspflichtig
Unsloth: Tokenisierung von ["text"] (num_proc=1):   0%|                 | 0/210289 [00:00<?, ? examples/s]�  Unsloth: Wir patchen Ihren Computer, um 2x schnelleres kostenloses Fine-Tuning zu ermöglichen.
🦥 Unsloth: Wir patchen Ihren Computer, um 2x schnelleres kostenloses Fine-Tuning zu ermöglichen.

Und Training:

Installieren Sie Docker und das NVIDIA Container Toolkit.

Installieren Sie Docker über Linux oder Desktop (andere). Dann installieren Sie NVIDIA Container Toolkit:

export NVIDIA_CONTAINER_TOOLKIT_VERSION=1.17.8-1
sudo apt-get update && sudo apt-get install -y \
  nvidia-container-toolkit=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  nvidia-container-toolkit-base=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  libnvidia-container-tools=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  libnvidia-container1=${NVIDIA_CONTAINER_TOOLKIT_VERSION}

Führen Sie den Container aus.

unsloth/unsloth ist Unsloths einziges Docker-Image.

docker run -d -e JUPYTER_PASSWORD="mypassword" \
  -p 8888:8888 -p 2222:22 \
  -v $(pwd)/work:/workspace/work \
  --gpus all \
  unsloth/unsloth

Jupyter Lab aufrufen

Gehen Sie zu http://localhost:8888 und öffnen Sie Unsloth. Greifen Sie auf die unsloth-notebooks -Tabs zu, um Unsloth-Notebooks zu sehen.

Mit Unsloth mit dem Training beginnen

Wenn Sie neu sind, folgen Sie unserer Schritt-für-Schritt-Anleitung Fine-Tuning-Leitfaden, RL-Leitfaden oder speichern/kopieren Sie einfach eines unserer vorgefertigten Notebooks.

Docker-Probleme - GPU nicht erkannt?

Versuchen Sie es mit WSL über Windows

WSL installieren

Öffnen Sie die Eingabeaufforderung, das Terminal, und installieren Sie Ubuntu. Legen Sie das Passwort fest, falls Sie dazu aufgefordert werden.

Wenn Sie (1) NICHT ausgeführt haben, also WSL bereits installiert haben, geben Sie WSL ein, indem Sie wsl und ENTER in die Eingabeaufforderung eingeben

Python installieren

PyTorch installieren

Wenn Sie Berechtigungsprobleme haben, verwenden Sie –break-system-packages also pip install torch torchvision --force-reinstall --index-url https://download.pytorch.org/whl/cu130 –break-system-packages

Unsloth und Jupyter Notebook installieren

Wenn Sie Berechtigungsprobleme haben, verwenden Sie –-break-system-packages also pip install unsloth jupyter –-break-system-packages

Unsloth über Jupyter Notebook starten

Dann öffnen Sie unsere Notebooks innerhalb von Unsloth-Notebooksund laden Sie sie! Sie können auch zu Colab-Notebooks gehen und herunterladen > .ipynb herunterladen und sie laden.