Wie man LLMs unter Windows mit Unsloth feinabstimmt (Schritt-für-Schritt-Anleitung)

Sieh, wie man Unsloth unter Windows installiert, um mit der lokalen Feinabstimmung von LLMs zu beginnen.

Sie können Modelle jetzt direkt auf Ihrem lokalen Windows-Gerät ohne WSL feinabstimmen, indem Sie Unsloth. Für diese Anleitung gibt es 3 Hauptmethoden, die Sie verwenden können (Conda, Docker und WSL). Wenn Sie bereits PyTorch unter Windows installiert haben, pip install unsloth sollte funktionieren. Andernfalls folgen Sie unseren Anleitungen unten:

Conda-Anleitung Docker-Anleitung WSL-Anleitung

Methode #1 - Windows über Conda:

Installieren Sie Miniconda (oder Anaconda)

Anaconda herunterladen hierUnsere Empfehlung ist, Minicondazu verwenden. Um es zu nutzen, öffnen Sie zuerst PowerShell – suchen Sie im Startmenü nach "Windows PowerShell":

Dann öffnet sich PowerShell:

Kopieren Sie dann Folgendes: STRG+C, und fügen Sie es in PowerShell mit STRG+V ein:

Invoke-WebRequest -Uri "https://repo.anaconda.com/miniconda/Miniconda3-latest-Windows-x86_64.exe" -OutFile ".\miniconda.exe"
Start-Process -FilePath ".\miniconda.exe" -ArgumentList "/S" -Wait
del .\miniconda.exe

Akzeptieren Sie die Warnung und drücken Sie "Trotzdem einfügen" und warten Sie.

Der Installer wird wie unten heruntergeladen:

Nach der Installation öffnen Sie Anaconda Powershell Prompt um Miniconda über Start -> Suche zu verwenden:

Dann sehen Sie:

Conda-Umgebung erstellen

conda create --name unsloth_env python==3.12 -y
conda activate unsloth_env

Sie werden sehen:

Prüfen Sie nvidia-smi um zu bestätigen, dass Sie eine GPU haben, und schauen Sie nach der CUDA-Version

Nachdem Sie nvidia-smi in PowerShell eingegeben haben, sollten Sie so etwas wie unten sehen. Wenn Sie kein nvidia-smi haben oder das unten Genannte nicht angezeigt wird, müssen Sie die NVIDIA-Treiber.

neu installieren

PyTorch installieren nvidia-smi Wenn Sie 130 ausführen, sehen Sie oben rechts: "CUDA Version: 13.0". Installieren Sie PyTorch in PowerShell via. Ändern Sie auf Ihre CUDA-Version - stellen Sie sicher, dass die Version existiert

und mit Ihrer CUDA-Treiberversion übereinstimmt.

Sie werden sehen:

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu130 Versuchen Sie, dies in Python über python

nach der Installation von PyTorch auszuführen:
import torch
print(torch.cuda.is_available())
A = torch.ones((10, 10), device = "cuda")
B = torch.ones((10, 10), device = "cuda")

A @ B

Sie sollten eine Matrix aus Zehnern sehen. Verifizieren Sie außerdem True für das Erste.

Installieren Sie Unsloth (nur wenn PyTorch funktioniert!)

Bestätigen Sie, dass PyTorch einwandfrei funktioniert und läuft - ist dies nicht der Fall, ist PyTorch beschädigt und das bedeutet leider, dass Ihr Windows-Rechner möglicherweise eine Neuinstallation der CUDA-Treiber benötigt. In PowerShell (nach Beenden von Python via exit()

pip install unsloth

, führen Sie aus und warten Sie:

Überprüfen Sie, ob Unsloth funktioniert Unsloth-Notebooks Verwenden Sie nun ein beliebiges Skript in

(als .py-Datei speichern), oder verwenden Sie das folgende Basis-Skript:
nach der Installation von PyTorch auszuführen:
from unsloth import FastLanguageModel, FastModel
from trl import SFTTrainer, SFTConfig
from datasets import load_dataset
max_seq_length = 512
url = "https://huggingface.co/datasets/laion/OIG/resolve/main/unified_chip2.jsonl"

dataset = load_dataset("json", data_files = {"train" : url}, split = "train")
    model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "unsloth/gemma-3-270m-it",
    max_seq_length = max_seq_length, # Wählen Sie beliebige für langen Kontext!
    load_in_4bit = True,  # 4-Bit-Quantisierung. False = 16-Bit LoRA.
    load_in_8bit = False, # 8-Bit-Quantisierung
    load_in_16bit = False, # 16-Bit LoRA
    full_finetuning = False, # Für vollständiges Fine-Tuning verwenden.
    trust_remote_code = False, # Aktivieren, um neue Modelle zu unterstützen
)

# token = "hf_...", # verwenden Sie eines, wenn Sie gated Modelle nutzen
# Führen Sie Modell-Patching durch und fügen Sie schnelle LoRA-Gewichte hinzu
    model = FastLanguageModel.get_peft_model(
    model,
    r = 16,
                      target_modules = ["q_proj", "k_proj", "v_proj", "o_proj",
    "gate_proj", "up_proj", "down_proj",],
    lora_alpha = 16,
    lora_dropout = 0, # Unterstützt beliebige Werte, aber = 0 ist optimiert
    bias = "none",    # Unterstützt beliebige Werte, aber = "none" ist optimiert
    # [NEU] "unsloth" verwendet 30% weniger VRAM, erlaubt 2x größere Batch-Größen!
    use_gradient_checkpointing = "unsloth", # True oder "unsloth" für sehr langen Kontext
    random_state = 3407,
    max_seq_length = max_seq_length,
    use_rslora = False,  # Wir unterstützen rank-stabilisiertes LoRA
)

loftq_config = None, # Und LoftQ
    trainer = SFTTrainer(
    model = model,
    train_dataset = dataset,
    tokenizer = tokenizer,
        random_state = 3407,
        args = SFTConfig(
        per_device_train_batch_size = 2,
        gradient_accumulation_steps = 4,
        warmup_steps = 10,
        max_steps = 60,
        logging_steps = 1,
        output_dir = "outputs",
        optim = "adamw_8bit",
        seed = 3407,
    ),
)
dataset_num_proc = 1,

trainer.train()

Sie sollten sehen:
🦥 Unsloth: Wird Ihren Computer patchen, um kostenloses Fine-Tuning 2x schneller zu ermöglichen.
🦥 Unsloth Zoo wird jetzt alles patchen, um das Training zu beschleunigen!
   ==((====))==  Unsloth 2026.1.4: Schnelles Gemma3-Patching. Transformers: 4.57.6.
\\   /|    NVIDIA GeForce RTX 3060. Anzahl GPUs = 1. Maximaler Speicher: 12.0 GB. Plattform: Windows.
O^O/ \_/ \    Torch: 2.10.0+cu130. CUDA: 8.6. CUDA Toolkit: 13.0. Triton: 3.6.0
 \        /    Bfloat16 = TRUE. FA [Xformers = 0.0.34. FA2 = False]
"-____-"     Kostenlose Lizenz: http://github.com/unslothai/unsloth
Unsloth: Schnelles Herunterladen ist aktiviert - ignorieren Sie Download-Balken, die rot eingefärbt sind!
Unsloth: Gemma3 unterstützt SDPA nicht - wechselt zu schnellem Eager-Modus.
Unsloth: Setze `model.base_model.model.model` so, dass Gradienten benötigt werden
Sie sollten sehen:

Unsloth: Tokenisiere ["text"] (num_proc=1): 0%| | 0/210289 [00:00<?, ? examples/s]� Unsloth: Wird Ihren Computer patchen, um kostenloses Fine-Tuning 2x schneller zu ermöglichen.

Und Training:

Methode #2 - Docker: Docker könnte für Windows-Nutzer der einfachste Weg sein, mit Unsloth zu beginnen, da keine Einrichtung oder Abhängigkeitsprobleme erforderlich sind. unsloth/unsloth ist Unsloths einziges Docker-Image. Für Blackwell

und GPUs der 50er-Serie verwenden Sie dasselbe Image - kein separates Image erforderlich. Für Installationsanweisungen folgen Sie bitte unseremDocker-Leitfaden

, ansonsten hier eine Schnellstart-Anleitung:

Installieren Sie Docker und das NVIDIA Container Toolkit. Installieren Sie Docker über Linux oder Desktop (andere). Installieren Sie dann:

NVIDIA Container Toolkit
export NVIDIA_CONTAINER_TOOLKIT_VERSION=1.17.8-1
  sudo apt-get update && sudo apt-get install -y \
  nvidia-container-toolkit=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  nvidia-container-toolkit-base=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  libnvidia-container-tools=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \

libnvidia-container1=${NVIDIA_CONTAINER_TOOLKIT_VERSION}

Docker könnte für Windows-Nutzer der einfachste Weg sein, mit Unsloth zu beginnen, da keine Einrichtung oder Abhängigkeitsprobleme erforderlich sind. Starten Sie den Container.

ist Unsloths einziges Docker-Image.
  docker run -d -e JUPYTER_PASSWORD="mypassword" \
  -p 8888:8888 -p 2222:22 \
  -v $(pwd)/work:/workspace/work \
  Docker könnte für Windows-Nutzer der einfachste Weg sein, mit Unsloth zu beginnen, da keine Einrichtung oder Abhängigkeitsprobleme erforderlich sind.

--gpus all \

Greifen Sie auf Jupyter Lab zu Gehen Sie zu http://localhost:8888 und öffnen Sie Unsloth. Greifen Sie auf die unsloth-notebooks

Tabs zu, um Unsloth-Notebooks zu sehen.

Starten Sie das Training mit Unsloth Wenn Sie neu sind, folgen Sie unserer Schritt-für-Schritt-, Fine-tuning-Anleitung RL-Anleitung oder speichern/kopieren Sie einfach eines unserer vorgefertigten.

Notebooks

Docker-Probleme - GPU nicht erkannt? Windows

Versuchen Sie WSL über

Methode #3 - WSL:

Installieren Sie WSL

Öffnen Sie die Eingabeaufforderung bzw. das Terminal und installieren Sie Ubuntu. Setzen Sie das Passwort, wenn Sie dazu aufgefordert werden.
wsl.exe --install Ubuntu-24.04

wsl.exe -d Ubuntu-24.04$primary , betreten Sie WSL, indem Sie wsl

, betreten Sie WSL, indem Sie

und ENTER in der Eingabeaufforderung eingeben

Python installieren
sudo apt update

neu installieren

sudo apt install python3 python3-full python3-pip python3-venv -y

pip install torch torchvision --force-reinstall --index-url https://download.pytorch.org/whl/cu130 Wenn Sie auf Berechtigungsprobleme stoßen, verwenden Sie –break-system-packages also

pip install torch torchvision --force-reinstall --index-url https://download.pytorch.org/whl/cu130 –break-system-packages

Installieren Sie Unsloth und Jupyter Notebook

pip install torch torchvision --force-reinstall --index-url https://download.pytorch.org/whl/cu130 pip install unsloth jupyter –break-system-packages –-break-system-packages

pip install unsloth jupyter –-break-system-packages

Starten Sie Unsloth über Jupyter Notebook

jupyter notebook Unsloth-NotebooksÖffnen Sie dann unsere Notebooks innerhalb von

und laden Sie sie! Sie können auch Colab-Notebooks herunterladen > .ipynb herunterladen und laden.

Wenn Sie GRPO verwenden oder vLLM verwenden möchten: Derzeit unterstützt vLLM Windows nicht direkt, sondern nur über WSL oder Linux. Fehlerbehebung /

Erweitert Für erweiterte Installationsanweisungen

oder wenn Sie während der Installationen seltsame Fehler sehen: Installieren Sie und torchtriton . Gehen Sie zu https://pytorch.org, um es zu installieren. Zum Beispiel
pip install torch torchvision torchaudio triton Bestätigen Sie, ob CUDA korrekt installiert ist. Versuchen Sienvcc . Wenn das fehlschlägt, müssen Sie cudatoolkit
oder CUDA-Treiber installieren. Wenn Sie eine Intel-GPU verwenden, müssen Sie unserer
oder wenn Sie während der Installationen seltsame Fehler sehen: Intel-Windows-Anleitung xformers manuell folgen. Sie können versuchen, vllm manuell folgen. Sie können versuchen, zu installieren und zu sehen, ob Intel-Windows-Anleitung erfolgreich ist. Prüfen Sie, ob mit python -m xformers.info Erfolgreich war. Gehen Sie zu https://github.com/facebookresearch/xformers. Eine weitere Option ist die Installation von flash-attn
für Ampere-GPUs. Installieren Sie, torchÜberprüfen Sie doppelt, ob Ihre Versionen von Python, CUDA, CUDNN, Intel-Windows-Anleitung , und miteinander kompatibel sind. Die PyTorch-Kompatibilitätsmatrix
kann nützlich sein. Installieren Sie abschließend bitsandbytes und überprüfen Sie es mit

Vorherigeuv, pip install & venv NächsteAMD

Zuletzt aktualisiert vor 6 Tagen

War das hilfreich?

hashtagMethode #1 - Windows über Conda:

hashtagUnd Training:

hashtagVersuchen Sie WSL über

hashtagWenn Sie GRPO verwenden oder vLLM verwenden möchten: Derzeit unterstützt vLLM Windows nicht direkt, sondern nur über WSL oder Linux. Fehlerbehebung /

Methode #1 - Windows über Conda:

Und Training:

Versuchen Sie WSL über

Wenn Sie GRPO verwenden oder vLLM verwenden möchten: Derzeit unterstützt vLLM Windows nicht direkt, sondern nur über WSL oder Linux. Fehlerbehebung /