Unsloth auf Windows installieren

Installiere Unsloth Desktop, Unsloth Studio oder Unsloth Core unter Windows.

Um Unsloth Desktop unter Windows zu installieren, folgen Sie den untenstehenden Schritten.

Herunterladen

Unsloth für Windows herunterladen

Installieren

Öffnen Sie das Unsloth-Installationsprogramm (.exe Datei)
Folgen Sie den Einrichtungsaufforderungen
Starten Sie die App und warten Sie, bis die Installation abgeschlossen ist

Wählen Sie ein Modell

Öffnen Sie „Modell auswählen“ oder „Model Hub“, wählen Sie ein Modell und eine Quantisierung aus und laden Sie es dann herunter. Sobald es fertig ist, können Sie mit dem Chatten beginnen – keine Einrichtung erforderlich.

Unsloth ist jetzt bereit

Um mit dem Chatten zu beginnen, geben Sie eine Nachricht ein und drücken Sie Enter.

Tools verbinden: Claude Code, Codex, Websuche, MCP und mehr
Modelle trainieren: Text, Diffusion, Embeddings und mehr feinabstimmen
Medien generieren: Bilder, Videos und TTS lokal erstellen und trainieren

Unsloth manuell installieren

Die folgenden Abschnitte behandeln die webbasierte Unsloth Studio und die ursprüngliche codebasierte Unsloth Core.

Für Unsloth Core unter Windows wählen Sie unten Conda, Docker oder WSL. Wenn PyTorch bereits installiert ist, pip install unsloth könnte ausreichen.

Conda-Tutorial Docker-Tutorial WSL-Tutorial

Unsloth Studio

Wir haben eine neue Weboberfläche namens Unsloth Studio eingeführt, die unter Windows sofort funktioniert:

irm https://unsloth.ai/install.ps1 | iex

Verwenden Sie denselben Befehl zum Aktualisieren.

Zum Starten jedes Mal dann:

unsloth studio -H 0.0.0.0 -p 8888

Ausführliche Installationsanweisungen und Systemanforderungen für Unsloth Studio finden Sie in unserem Leitfaden.

Nachfolgend finden Sie Installationsanweisungen für das ursprüngliche Unsloth Core:

Methode Nr. 1 – Windows über Conda:

Miniconda (oder Anaconda) installieren

Anaconda herunterladen hier. Wir empfehlen, Miniconda. Um es zu verwenden, öffnen Sie zuerst PowerShell – suchen Sie im Startmenü nach „Windows PowerShell“:

Dann öffnet sich PowerShell:

Kopieren Sie dann Folgendes und fügen Sie es ein: STRG+C, und fügen Sie es in PowerShell mit STRG+V ein:

Invoke-WebRequest -Uri "https://repo.anaconda.com/miniconda/Miniconda3-latest-Windows-x86_64.exe" -OutFile ".\miniconda.exe"
Start-Process -FilePath ".\miniconda.exe" -ArgumentList "/S" -Wait
del .\miniconda.exe

Akzeptieren Sie die Warnung und klicken Sie auf „Trotzdem einfügen“ und warten Sie.

Es lädt den Installer wie unten herunter:

Nach der Installation öffnen Sie Anaconda PowerShell Prompt um Miniconda über Start -> Suchen zu verwenden:

Dann sehen Sie:

Conda-Umgebung erstellen

conda create --name unsloth_env python==3.12 -y
conda activate unsloth_env

Sie werden Folgendes sehen:

Prüfen Sie nvidia-smi um zu bestätigen, dass Sie eine GPU haben, und sehen Sie sich die CUDA-Version an

Nach Eingabe von nvidia-smi in PowerShell sollten Sie etwas wie unten sehen. Wenn Sie kein nvidia-smi haben oder das Folgende nicht erscheint, müssen Sie NVIDIA-Treiber.

PyTorch installieren

Beim Ausführen von nvidia-smi sehen Sie oben rechts: „CUDA Version: 13.0“. Installieren Sie PyTorch in PowerShell über. Ändern Sie 130 zu Ihrer CUDA-Version – stellen Sie sicher, dass die Version vorhanden ist und zu Ihrer CUDA-Treiberversion passt.

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu130

Sie werden Folgendes sehen:

Versuchen Sie, dies in Python über python auszuführen, nachdem PyTorch installiert wurde:

import torch
print(torch.cuda.is_available())
A = torch.ones((10, 10), device = "cuda")
B = torch.ones((10, 10), device = "cuda")
A @ B

Sie sollten eine 10er-Matrix sehen. Vergewissern Sie sich außerdem, dass für das erste True angezeigt wird.

Unsloth installieren (nur wenn PyTorch funktioniert!)

Bestätigen Sie, dass PyTorch einwandfrei funktioniert und läuft – wenn nicht, ist PyTorch beschädigt, und das bedeutet leider, dass auf Ihrem Windows-Rechner möglicherweise die CUDA-Treiber neu installiert werden müssen.

In PowerShell (nachdem Sie Python mit exit() verlassen haben, führen Sie Folgendes aus und warten Sie:

pip install unsloth

Prüfen, ob Unsloth funktioniert

Verwenden Sie nun ein beliebiges Skript in Unsloth-Notebooks (als .py-Datei speichern) oder verwenden Sie stattdessen das folgende Basisskript:

from unsloth import FastLanguageModel, FastModel
import torch
from trl import SFTTrainer, SFTConfig
from datasets import load_dataset
max_seq_length = 512
url = "https://huggingface.co/datasets/laion/OIG/resolve/main/unified_chip2.jsonl"
dataset = load_dataset("json", data_files = {"train" : url}, split = "train")

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "unsloth/gemma-3-270m-it",
    max_seq_length = max_seq_length, # Wählen Sie beliebig für langen Kontext!
    load_in_4bit = True,  # 4-Bit-Quantisierung. False = 16-Bit-LoRA.
    load_in_8bit = False, # 8-Bit-Quantisierung
    load_in_16bit = False, # 16-Bit-LoRA
    full_finetuning = False, # Für vollständiges Fine-Tuning verwenden.
    trust_remote_code = False, # Aktivieren, um neue Modelle zu unterstützen
    # token = "hf_...", # verwenden Sie einen, wenn Sie geschützte Modelle nutzen
)

# Modell-Patching durchführen und schnelle LoRA-Gewichte hinzufügen
model = FastLanguageModel.get_peft_model(
    model,
    r = 16,
    target_modules = ["q_proj", "k_proj", "v_proj", "o_proj",
                      "gate_proj", "up_proj", "down_proj",],
    lora_alpha = 16,
    lora_dropout = 0, # Unterstützt beliebige Werte, aber 0 ist optimiert
    bias = "none",    # Unterstützt beliebige Werte, aber "none" ist optimiert
    # [NEU] "unsloth" benötigt 30 % weniger VRAM und passt für 2x größere Batchgrößen!
    use_gradient_checkpointing = "unsloth", # True oder "unsloth" für sehr langen Kontext
    random_state = 3407,
    max_seq_length = max_seq_length,
    use_rslora = False,  # Wir unterstützen rankstabilisiertes LoRA
    loftq_config = None, # Und LoftQ
)

trainer = SFTTrainer(
    model = model,
    train_dataset = dataset,
    tokenizer = tokenizer,
    args = SFTConfig(
        max_seq_length = max_seq_length,
        per_device_train_batch_size = 2,
        gradient_accumulation_steps = 4,
        warmup_steps = 10,
        max_steps = 60,
        logging_steps = 1,
        output_dir = "outputs",
        optim = "adamw_8bit",
        seed = 3407,
        dataset_num_proc = 1,
    ),
)
trainer.train()

Sie sollten Folgendes sehen:

🦥 Unsloth: Ihr Computer wird gepatcht, um 2x schnelleres kostenloses Fine-Tuning zu ermöglichen.
🦥 Unsloth Zoo wird nun alles patchen, damit das Training schneller wird!
==((====))==  Unsloth 2026.1.4: Schnelles Gemma3-Patching. Transformers: 4.57.6.
   \\   /|    NVIDIA GeForce RTX 3060. Anzahl GPUs = 1. Max. Speicher: 12,0 GB. Plattform: Windows.
O^O/ \_/ \    Torch: 2.10.0+cu130. CUDA: 8.6. CUDA Toolkit: 13.0. Triton: 3.6.0
\        /    Bfloat16 = TRUE. FA [Xformers = 0.0.34. FA2 = False]
 "-____-"     Kostenlose Lizenz: http://github.com/unslothai/unsloth
Unsloth: Schnelles Herunterladen ist aktiviert – ignorieren Sie Download-Balken, die rot gefärbt sind!
Unsloth: Gemma3 unterstützt SDPA nicht – Umschalten auf schnelles Eager.
Unsloth: `model.base_model.model.model` mit Gradienten versehen
Unsloth: Tokenizing ["text"] (num_proc=1):   0%|                 | 0/210289 [00:00<?, ? examples/s]�  Unsloth: Ihr Computer wird gepatcht, um 2x schnelleres kostenloses Fine-Tuning zu ermöglichen.
🦥 Unsloth: Ihr Computer wird gepatcht, um 2x schnelleres kostenloses Fine-Tuning zu ermöglichen.

Und Training:

Methode Nr. 2 – Docker:

Docker ist für Windows-Nutzer möglicherweise der einfachste Einstieg in Unsloth, da keine Einrichtung oder Abhängigkeitsprobleme erforderlich sind. unsloth/unsloth ist das einzige Docker-Image von Unsloth. Für Blackwell und GPUs der 50er-Serie verwenden Sie dasselbe Image – kein separates Image erforderlich.

Bitte folgen Sie für Installationsanweisungen unserem Docker-Leitfaden, ansonsten hier eine Schnellstartanleitung:

Installieren Sie Docker und das NVIDIA Container Toolkit.

Installieren Sie Docker über Linux oder Desktop (andere). Dann installieren Sie NVIDIA Container Toolkit:

export NVIDIA_CONTAINER_TOOLKIT_VERSION=1.17.8-1
sudo apt-get update && sudo apt-get install -y \
  nvidia-container-toolkit=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  nvidia-container-toolkit-base=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  libnvidia-container-tools=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  libnvidia-container1=${NVIDIA_CONTAINER_TOOLKIT_VERSION}

Führen Sie den Container aus.

unsloth/unsloth ist das einzige Docker-Image von Unsloth.

docker run -d -e JUPYTER_PASSWORD="mypassword" \
  -p 8888:8888 -p 2222:22 \
  -v $(pwd)/work:/workspace/work \
  --gpus all \
  unsloth/unsloth

Greifen Sie auf Jupyter Lab zu

Gehen Sie zu http://localhost:8888 und öffnen Sie Unsloth. Greifen Sie auf die unsloth-notebooks Registerkarten zu, um die Unsloth-Notebooks anzuzeigen.

Mit Unsloth mit dem Training beginnen

Wenn Sie neu sind, folgen Sie unserem schrittweisen Fine-Tuning-Leitfaden, RL-Leitfaden oder speichern/kopieren Sie einfach eines unserer vorgefertigten Notebooks.

Docker-Probleme – GPU nicht erkannt?

Versuchen Sie stattdessen WSL über Windows

Methode Nr. 3 – WSL:

WSL installieren

Öffnen Sie die Eingabeaufforderung, das Terminal, und installieren Sie Ubuntu. Legen Sie das Passwort fest, falls Sie dazu aufgefordert werden.

wsl.exe --install Ubuntu-24.04
wsl.exe -d Ubuntu-24.04

Wenn Sie (1) NICHT ausgeführt haben, also WSL bereits installiert haben, geben Sie WSL ein, indem Sie wsl und ENTER in die Eingabeaufforderung eingeben

wsl

Python installieren

sudo apt update
sudo apt install python3 python3-full python3-pip python3-venv -y

PyTorch installieren

pip install torch torchvision --force-reinstall --index-url https://download.pytorch.org/whl/cu130

Wenn Sie auf Berechtigungsprobleme stoßen, verwenden Sie –break-system-packages damit pip install torch torchvision --force-reinstall --index-url https://download.pytorch.org/whl/cu130 –break-system-packages

Unsloth und Jupyter Notebook installieren

pip install unsloth jupyter

Wenn Sie auf Berechtigungsprobleme stoßen, verwenden Sie –-break-system-packages damit pip install unsloth jupyter –-break-system-packages

Unsloth über Jupyter Notebook starten

jupyter notebook

Öffnen Sie dann unsere Notebooks innerhalb von Unsloth-Notebooksund laden Sie sie! Sie können auch zu Colab-Notebooks gehen und sie über Herunterladen > .ipynb herunterladen und laden.

Wenn Sie GRPO verwenden oder vLLM verwenden möchten, unterstützt vLLM Windows derzeit nicht direkt, sondern nur über WSL oder Linux.

Fehlerbehebung / Erweitert

Für erweiterte Installationsanweisungen oder wenn Sie während der Installationen seltsame Fehler sehen:

Installieren torch und triton. Gehen Sie zu https://pytorch.org, um es zu installieren. Zum Beispiel pip install torch torchvision torchaudio triton
Bestätigen Sie, ob CUDA korrekt installiert ist. Versuchen Sie nvcc. Wenn das fehlschlägt, müssen Sie cudatoolkit oder CUDA-Treiber installieren.
Wenn Sie eine Intel-GPU verwenden, müssen Sie unserem Intel-Windows-Leitfaden
Installieren xformers manuell. Sie können versuchen, vllm zu installieren und zu prüfen, ob vllm erfolgreich ist. Prüfen Sie, ob xformers erfolgreich war mit python -m xformers.info Gehen Sie zu https://github.com/facebookresearch/xformers. Eine weitere Möglichkeit besteht darin, flash-attn für Ampere-GPUs zu installieren.
Prüfen Sie erneut, ob Ihre Versionen von Python, CUDA, CUDNN, torch, triton, und xformers miteinander kompatibel sind. Die PyTorch-Kompatibilitätsmatrix kann hilfreich sein.
Installieren Sie abschließend bitsandbytes und prüfen Sie es mit python -m bitsandbytes
Wenn Unsloth Ihre GPU nicht erkennt oder verwendet und Sie unseren Docker-Container unter Windows verwenden, sollte Ihre CUDA-Toolkit-Version nvcc --version der von nvidia-smi auf der Host-GPU angezeigten Version entsprechen. Die Unterstützung für Docker-Container unter Windows ist nicht automatisch. Sie müssen der Docker-Anleitung folgen.

Deinstallieren

Unsloth Desktop

Schließen Sie Unsloth, falls es ausgeführt wird.
Öffnen Einstellungen in Windows.
Gehen Sie zu Apps → Installierte Apps.
Suchen Sie Unsloth, wählen Sie das Drei-Punkte-Menü und dann Deinstallieren.
Folgen Sie den Anweisungen, um die App zu entfernen.

Durch die Deinstallation von Unsloth Desktop werden heruntergeladene Modelle oder Ihre Dateien nicht entfernt.

Unsloth Studio (manuelle Installation)

Der empfohlene Weg, Unsloth Studio vollständig zu entfernen, ist das Deinstallationsskript für Ihr Betriebssystem. Es beendet alle laufenden Server, entfernt die App, den CLI-Befehl, Launcher-Daten, Verknüpfungen und plattformspezifische Einträge (macOS .app Bundle + Launch Services; Windows-Startmenü + Registry + PATH):

irm https://raw.githubusercontent.com/unslothai/unsloth/main/scripts/uninstall.ps1 | iex

Manuelle Deinstallation

Wenn Sie nur bestimmte Teile entfernen möchten:

1. Nur die App entfernen (lässt Verlauf, Chats, Checkpoints und Exporte unverändert):

Remove-Item -Recurse -Force "$HOME\.unsloth\studio\unsloth_studio"

2. Unsloth vollständig entfernen (lässt andere Unsloth-Tools unverändert):

Remove-Item -Recurse -Force "$HOME\.unsloth\studio"

3. Alles zu Unsloth entfernen:

Remove-Item -Recurse -Force "$HOME\.unsloth"

Hinweis: Schritt 3 löscht den gesamten Verlauf, alle Chats, Modell-Checkpoints und Exporte. Dies kann nicht rückgängig gemacht werden.

4. Verknüpfungen und Symlinks entfernen:

Remove-Item -Force "$HOME\Desktop\Unsloth Studio.lnk"
Remove-Item -Force "$env:APPDATA\Microsoft\Windows\Start Menu\Programs\Unsloth Studio.lnk"

5. Den CLI-Befehl entfernen:

Windows (PowerShell): Das Installationsprogramm hat das Scripts-Verzeichnis Scripts zu Ihrem Benutzer-PATH hinzugefügt. Um es zu entfernen, öffnen Sie Einstellungen → System → Info → Erweiterte Systemeinstellungen → Umgebungsvariablen, suchen Sie Path unter Benutzervariablen und entfernen Sie den Eintrag, der auf .unsloth\studio\...\Scripts.

Hinweis: Die Schritte 1–5 berühren Ihre heruntergeladenen HF-Modelldateien nicht. Siehe unten „Deleting cached HF model files“, wenn Sie diesen Speicherplatz zurückgewinnen möchten.

Zwischengespeicherte HF-Modelldateien löschen

Sie können alte Modelldateien entweder über das Papierkorb-Symbol in der Modellsuche löschen oder den entsprechenden zwischengespeicherten Modellordner aus dem Standard-Hugging-Face-Cache-Verzeichnis entfernen. Standardmäßig verwendet Hugging Face ~/.cache/huggingface/hub/ unter macOS/Linux/WSL und C:\Users\<username>\.cache\huggingface\hub\ unter Windows.

Windows: %USERPROFILE%\.cache\huggingface\hub\

Wenn HF_HUB_CACHE oder HF_HOME festgelegt ist, verwenden Sie stattdessen diesen Speicherort. Unter Linux und WSL, XDG_CACHE_HOME kann ebenfalls das Standard-Cache-Stammverzeichnis ändern.

VorherigeLinux NächsteAMD

Zuletzt aktualisiert vor 6 Tagen

War das hilfreich?