Wie man LLMs unter Windows mit Unsloth fein-tuned (Schritt-für-Schritt-Anleitung)

Miniconda (oder Anaconda) installieren

Anaconda herunterladen hier. Unsere Empfehlung ist die Verwendung von Miniconda. Um es zu verwenden, öffnen Sie zuerst PowerShell - suchen Sie im Startmenü nach "Windows PowerShell":

Dann öffnet sich PowerShell:

Dann den folgenden Text kopieren und einfügen: CTRL+C, und in PowerShell einfügen CTRL+V:

Invoke-WebRequest -Uri "https://repo.anaconda.com/miniconda/Miniconda3-latest-Windows-x86_64.exe" -OutFile ".\miniconda.exe"
Start-Process -FilePath ".\miniconda.exe" -ArgumentList "/S" -Wait
del .\miniconda.exe

Akzeptieren Sie die Warnung und klicken Sie auf "Trotzdem einfügen" und warten Sie.

Es wird der Installer wie unten heruntergeladen:

Nach der Installation öffnen Sie Anaconda Powershell Prompt um Miniconda über Start -> danach suchen zu verwenden:

Dann sehen Sie:

Conda-Umgebung erstellen

conda create --name unsloth_env python==3.12 -y
conda activate unsloth_env

Sie werden sehen:

Prüfen nvidia-smi um zu bestätigen, dass Sie eine GPU haben, und suchen Sie nach der CUDA-Version

Nach dem Eingeben von nvidia-smi in PowerShell sollten Sie etwas wie unten sehen. Wenn Sie nvidia-smi nicht haben oder das Folgende nicht erscheint, müssen Sie NVIDIA-Treiber.

PyTorch installieren

Beim Ausführen von nvidia-smi sehen Sie oben rechts: "CUDA Version: 13.0". Installieren Sie PyTorch in PowerShell über. Ändern Sie 130 entsprechend Ihrer CUDA-Version - stellen Sie sicher, dass die Version vorhanden ist und mit Ihrer CUDA-Treiberversion übereinstimmt.

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu130

Sie werden sehen:

Versuchen Sie, dies in Python auszuführen über python nachdem PyTorch installiert wurde:

import torch
print(torch.cuda.is_available())
A = torch.ones((10, 10), device = "cuda")
B = torch.ones((10, 10), device = "cuda")
A @ B

Sie sollten eine Matrix aus 10ern sehen. Überprüfen Sie außerdem, dass der erste Wert True ist.

Unsloth installieren (nur wenn PyTorch funktioniert!)

In PowerShell (nach dem Beenden von Python über exit() , ausführen und warten:

pip install unsloth

Überprüfen Sie, ob Unsloth funktioniert

Verwenden Sie nun jedes Skript in Unsloth-Notebooks (als .py-Datei speichern) oder verwenden Sie das folgende grundlegende Skript:

Sie sollten sehen:

🦥 Unsloth: Wir werden Ihren Computer patchen, um 2x schnelleres kostenloses Finetuning zu ermöglichen.
🦥 Unsloth Zoo wird jetzt alles patchen, um das Training zu beschleunigen!
==((====))==  Unsloth 2026.1.4: Schnelles Gemma3-Patching. Transformers: 4.57.6.
   \\   /|    NVIDIA GeForce RTX 3060. Num GPUs = 1. Max memory: 12.0 GB. Platform: Windows.
O^O/ \_/ \    Torch: 2.10.0+cu130. CUDA: 8.6. CUDA Toolkit: 13.0. Triton: 3.6.0
\        /    Bfloat16 = TRUE. FA [Xformers = 0.0.34. FA2 = False]
 "-____-"     Freie Lizenz: http://github.com/unslothai/unsloth
Unsloth: Schnelles Herunterladen ist aktiviert - ignorieren Sie Download-Balken, die rot gefärbt sind!
Unsloth: Gemma3 unterstützt SDPA nicht - Wechsel zu schnellem eager.
Unsloth: `model.base_model.model.model` auf Gradientenpflicht setzen
Unsloth: Tokenisieren ["text"] (num_proc=1):   0%|                 | 0/210289 [00:00<?, ? examples/s]�  Unsloth: Wir werden Ihren Computer patchen, um 2x schnelleres kostenloses Finetuning zu ermöglichen.
🦥 Unsloth: Wir werden Ihren Computer patchen, um 2x schnelleres kostenloses Finetuning zu ermöglichen.

Und das Training:

Docker und NVIDIA Container Toolkit installieren.

Docker über Linux oder Desktop (andere) installieren. Dann installieren Sie NVIDIA Container Toolkit:

export NVIDIA_CONTAINER_TOOLKIT_VERSION=1.17.8-1
sudo apt-get update && sudo apt-get install -y \
  nvidia-container-toolkit=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  nvidia-container-toolkit-base=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  libnvidia-container-tools=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  libnvidia-container1=${NVIDIA_CONTAINER_TOOLKIT_VERSION}

Den Container ausführen.

unsloth/unsloth ist das einzige Docker-Image von Unsloth.

docker run -d -e JUPYTER_PASSWORD="mypassword" \
  -p 8888:8888 -p 2222:22 \
  -v $(pwd)/work:/workspace/work \
  --gpus all \
  unsloth/unsloth

Jupyter Lab aufrufen

Gehen Sie zu http://localhost:8888 und öffnen Sie Unsloth. Rufen Sie die unsloth-notebooks Tabs auf, um Unsloth-Notebooks zu sehen.

Mit Unsloth mit dem Training beginnen

Wenn Sie neu sind, folgen Sie unserer Schritt-für-Schritt Fine-Tuning-Anleitung, RL-Anleitung oder speichern/kopieren Sie einfach eines unserer vorgefertigten Notebooks.

Docker-Probleme - GPU nicht erkannt?

Versuchen Sie WSL über Windows

WSL installieren

Öffnen Sie die Eingabeaufforderung, das Terminal, und installieren Sie Ubuntu. Setzen Sie das Passwort, falls Sie dazu aufgefordert werden.

Wenn Sie (1) NICHT gemacht haben, also WSL bereits installiert haben,, geben Sie WSL ein, indem Sie wsl und ENTER in die Eingabeaufforderung eingeben

Python installieren

PyTorch installieren

Wenn Sie auf Berechtigungsprobleme stoßen, verwenden Sie –break-system-packages damit pip install torch torchvision --force-reinstall --index-url https://download.pytorch.org/whl/cu130 –break-system-packages

Unsloth und Jupyter Notebook installieren

Wenn Sie auf Berechtigungsprobleme stoßen, verwenden Sie –-break-system-packages damit pip install unsloth jupyter –-break-system-packages

Unsloth über Jupyter Notebook starten

Dann öffnen Sie unsere Notebooks innerhalb von Unsloth-Notebooksund laden Sie sie! Sie können auch zu Colab-Notebooks gehen und download > download .ipynb wählen und sie laden.