Wie man LLMs unter Windows mit Unsloth feinabstimmt (Schritt-für-Schritt-Anleitung)

Miniconda (oder Anaconda) installieren

Anaconda herunterladen hier. Unsere Empfehlung ist, Minicondazu verwenden. Um es zu nutzen, öffnen Sie zuerst PowerShell – suchen Sie im Startmenü nach „Windows PowerShell“:

Dann öffnet sich PowerShell:

Dann kopieren und fügen Sie das Folgende ein: STRG+C und fügen Sie es in PowerShell mit STRG+V ein:

Invoke-WebRequest -Uri "https://repo.anaconda.com/miniconda/Miniconda3-latest-Windows-x86_64.exe" -OutFile ".\miniconda.exe"
Start-Process -FilePath ".\miniconda.exe" -ArgumentList "/S" -Wait
del .\miniconda.exe

Akzeptieren Sie die Warnung und drücken Sie „Trotzdem einfügen“ und warten Sie.

Es lädt den Installer wie unten herunter:

Nach der Installation öffnen Sie öffnen Anaconda PowerShell Prompt um Miniconda über Start -> danach suchen zu verwenden:

Dann sehen Sie:

Conda-Umgebung erstellen

conda create --name unsloth_env python==3.12 -y
conda activate unsloth_env

Sie werden Folgendes sehen:

Überprüfen nvidia-smi um zu bestätigen, dass Sie eine GPU haben, und achten Sie auf die CUDA-Version

Nach dem Eingeben von nvidia-smi in PowerShell sollten Sie etwas wie unten sehen. Wenn Sie nvidia-smi nicht haben oder das Folgende nicht erscheint, müssen Sie NVIDIA-Treiber.

PyTorch installieren

Beim Ausführen von nvidia-smi sehen Sie oben rechts: „CUDA Version: 13.0“. Installieren Sie PyTorch in PowerShell über. Ändern Sie 130 entsprechend Ihrer CUDA-Version – stellen Sie sicher, dass die Version existiert und mit Ihrer CUDA-Treiberversion übereinstimmt.

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu130

Sie werden Folgendes sehen:

Versuchen Sie dies in Python auszuführen über python nach der Installation von PyTorch:

import torch
print(torch.cuda.is_available())
A = torch.ones((10, 10), device = "cuda")
B = torch.ones((10, 10), device = "cuda")
A @ B

Sie sollten eine Matrix aus 10ern sehen. Überprüfen Sie außerdem, dass für das Erste True angezeigt wird.

Unsloth installieren (nur wenn PyTorch funktioniert!)

In PowerShell (nachdem Sie Python mit exit() verlassen haben, ausführen und warten:

pip install unsloth

Überprüfen, ob Unsloth funktioniert

Verwenden Sie jetzt beliebige Skripte in Unsloth-Notebooks (als .py-Datei speichern) oder verwenden Sie das untenstehende einfache Skript:

Sie sollten Folgendes sehen:

🦥 Unsloth: Wir werden Ihren Computer patchen, um 2x schnelleres kostenloses Feintuning zu ermöglichen.
🦥 Unsloth Zoo wird jetzt alles patchen, um das Training schneller zu machen!
==((====))==  Unsloth 2026.1.4: Schnelles Gemma3-Patching. Transformers: 4.57.6.
   \\   /|    NVIDIA GeForce RTX 3060. Anzahl GPUs = 1. Maximaler Speicher: 12,0 GB. Plattform: Windows.
O^O/ \_/ \    Torch: 2.10.0+cu130. CUDA: 8.6. CUDA Toolkit: 13.0. Triton: 3.6.0
\        /    Bfloat16 = TRUE. FA [Xformers = 0.0.34. FA2 = False]
 "-____-"     Kostenlose Lizenz: http://github.com/unslothai/unsloth
Unsloth: Schnelles Herunterladen ist aktiviert – ignorieren Sie Download-Balken, die rot gefärbt sind!
Unsloth: Gemma3 unterstützt SDPA nicht – Umschalten auf schnelles eager.
Unsloth: `model.base_model.model.model` auf Gradientenpflicht setzen
Unsloth: Tokenizing ["text"] (num_proc=1):   0%|                 | 0/210289 [00:00<?, ? examples/s]�  Unsloth: Wir werden Ihren Computer patchen, um 2x schnelleres kostenloses Feintuning zu ermöglichen.
🦥 Unsloth: Wir werden Ihren Computer patchen, um 2x schnelleres kostenloses Feintuning zu ermöglichen.

Und Training:

Installieren Sie Docker und das NVIDIA Container Toolkit.

Docker installieren über Linux oder Desktop (sonstiges). Dann installieren Sie NVIDIA Container Toolkit:

export NVIDIA_CONTAINER_TOOLKIT_VERSION=1.17.8-1
sudo apt-get update && sudo apt-get install -y \
  nvidia-container-toolkit=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  nvidia-container-toolkit-base=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  libnvidia-container-tools=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  libnvidia-container1=${NVIDIA_CONTAINER_TOOLKIT_VERSION}

Führen Sie den Container aus.

unsloth/unsloth ist Unsloths einziges Docker-Image.

docker run -d -e JUPYTER_PASSWORD="mypassword" \
  -p 8888:8888 -p 2222:22 \
  -v $(pwd)/work:/workspace/work \
  --gpus all \
  unsloth/unsloth

Jupyter Lab aufrufen

Gehen Sie zu http://localhost:8888 und öffnen Sie Unsloth. Greifen Sie auf die unsloth-notebooks Registerkarten zu, um Unsloth-Notebooks zu sehen.

Mit Unsloth mit dem Training beginnen

Wenn Sie neu sind, folgen Sie unserer Schritt-für-Schritt- Feintuning-Anleitung, RL-Anleitung oder speichern/kopieren Sie einfach eines unserer vorgefertigten Notebooks.

Docker-Probleme - GPU nicht erkannt?

Versuchen Sie WSL über Windows

WSL installieren

Öffnen Sie die Eingabeaufforderung, das Terminal, und installieren Sie Ubuntu. Legen Sie das Passwort fest, falls Sie dazu aufgefordert werden.

Wenn Sie (1) NICHT gemacht haben, also WSL bereits installiert haben, geben Sie WSL ein, indem Sie wsl und ENTER in der Eingabeaufforderung eingeben

Python installieren

PyTorch installieren

Wenn Sie Berechtigungsprobleme haben, verwenden Sie –break-system-packages also pip install torch torchvision --force-reinstall --index-url https://download.pytorch.org/whl/cu130 –break-system-packages

Unsloth und Jupyter Notebook installieren

Wenn Sie Berechtigungsprobleme haben, verwenden Sie –-break-system-packages also pip install unsloth jupyter –-break-system-packages

Unsloth über Jupyter Notebook starten

Öffnen Sie dann unsere Notebooks innerhalb von Unsloth-Notebooksund laden Sie sie! Sie können auch zu Colab-Notebooks gehen, dort auf Herunterladen > .ipynb herunterladen klicken und sie laden.