# Wie man LLMs unter Windows mit Unsloth feinabstimmt (Schritt-für-Schritt-Anleitung)

Sie können Modelle jetzt direkt auf Ihrem lokalen Windows-Gerät ohne WSL feinabstimmen, indem Sie [Unsloth](https://github.com/unslothai/unsloth) verwenden. Für diese Anleitung gibt es 3 Hauptmethoden, die Sie verwenden können ([Conda](#method-1-windows-via-conda), [Docker](#method-2-docker) und [WSL](#method-3-wsl)).\
Wenn PyTorch bereits unter Windows installiert ist, `pip install unsloth` sollte funktionieren. Andernfalls folgen Sie unseren Anleitungen unten:

<a href="/pages/44f4bf2eea97ad3270d9e11ab9d33f2b9479ae22#method-1-windows-via-conda" class="button secondary">Conda-Tutorial</a><a href="/pages/44f4bf2eea97ad3270d9e11ab9d33f2b9479ae22#method-2-docker" class="button secondary">Docker-Tutorial</a><a href="/pages/44f4bf2eea97ad3270d9e11ab9d33f2b9479ae22#method-3-wsl" class="button secondary">WSL-Tutorial</a>

### Unsloth Studio

Wir haben eine neue Web-UI namens [Unsloth Studio](/docs/de/neu/studio/install.md) veröffentlicht, die unter Windows sofort funktioniert:

```bash
irm https://unsloth.ai/install.ps1 | iex
```

Verwenden Sie denselben Befehl zum Aktualisieren oder verwenden Sie `unsloth studio update`.

Dann jedes Mal zum Starten:

```bash
unsloth studio -H 0.0.0.0 -p 8888
```

Für detaillierte Installationsanweisungen und Anforderungen für Unsloth Studio [sehen Sie sich unsere Anleitung an](/docs/de/neu/studio/install.md).

Unten finden Sie Installationsanweisungen für das ursprüngliche **Unsloth Core**:

### Methode #1 - Windows über Conda:

{% stepper %}
{% step %}
**Miniconda (oder Anaconda) installieren**

Anaconda herunterladen [hier](https://www.anaconda.com/download). Unsere Empfehlung ist die Verwendung von [Miniconda](https://www.anaconda.com/docs/getting-started/miniconda/install#quickstart-install-instructions). Um es zu verwenden, öffnen Sie zuerst Powershell – suchen Sie im Startmenü nach „Windows Powershell“:

<figure><img src="/files/a745f6ad2575db5ca3e44bad04ec9d28c89adaad" alt="" width="375"><figcaption></figcaption></figure>

Dann wird Powershell geöffnet:

<figure><img src="/files/b44160fbe4b1b89196a017b1019ed05e6114c2ff" alt="" width="375"><figcaption></figcaption></figure>

Dann kopieren und fügen Sie das Folgende ein: STRG+C und fügen Sie es in Powershell mit STRG+V ein:

{% code overflow="wrap" %}

```ps
Invoke-WebRequest -Uri "https://repo.anaconda.com/miniconda/Miniconda3-latest-Windows-x86_64.exe" -OutFile ".\miniconda.exe"
Start-Process -FilePath ".\miniconda.exe" -ArgumentList "/S" -Wait
del .\miniconda.exe
```

{% endcode %}

Akzeptieren Sie die Warnung und drücken Sie „Trotzdem einfügen“ und warten Sie.

<figure><img src="/files/2cd0b7d22600c1bcc2df83cb8402e03d9fc34620" alt="" width="375"><figcaption></figcaption></figure>

Es wird gerade das Installationsprogramm heruntergeladen, wie unten:

<figure><img src="/files/cf6da815e01daee1d2b7be5ccba40a7ba91de766" alt="" width="375"><figcaption></figcaption></figure>

Nach der Installation öffnen Sie **Anaconda Powershell Prompt** um Miniconda über Start -> danach suchen zu verwenden:

<figure><img src="/files/2f24791abe15b903d58cb88484d4383118e7cf1a" alt="" width="375"><figcaption></figcaption></figure>

Dann sehen Sie:

<figure><img src="/files/3dade67d8c28d02672d7d12fcf56d9313803321f" alt="" width="375"><figcaption></figcaption></figure>
{% endstep %}

{% step %}
**Conda-Umgebung erstellen**

```bash
conda create --name unsloth_env python==3.12 -y
conda activate unsloth_env
```

**Sie werden sehen:**

<figure><img src="/files/2701aae6a22c945709be9d6a29178601f227e13a" alt="" width="375"><figcaption></figcaption></figure>
{% endstep %}

{% step %}
**Prüfen Sie `nvidia-smi` um zu bestätigen, dass Sie eine GPU haben, und achten Sie auf die CUDA-Version**

Nach Eingabe von `nvidia-smi` in Powershell sollten Sie etwas wie unten sehen. Wenn Sie kein `nvidia-smi` haben oder das Folgende nicht erscheint, müssen Sie [NVIDIA-Treiber](https://www.nvidia.com/en-us/drivers/).

<figure><img src="/files/858d7311befd5f80844644615ba53daaa965bb33" alt="" width="375"><figcaption></figcaption></figure>
{% endstep %}

{% step %}
**PyTorch installieren**

Beim Ausführen von `nvidia-smi` sehen Sie oben rechts: „CUDA Version: 13.0“. Installieren Sie PyTorch in PowerShell über. Ändern Sie `130` auf Ihre CUDA-Version – stellen Sie sicher, dass die [Version existiert](https://pytorch.org/) und zu Ihrer CUDA-Treiberversion passt.

{% code overflow="wrap" %}

```bash
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu130
```

{% endcode %}

Sie werden sehen:

<figure><img src="/files/9ce7fd7df2e895bcd8463c03eaf740aa670370ca" alt="" width="563"><figcaption></figcaption></figure>

Versuchen Sie, dies in Python über `python` auszuführen, nachdem PyTorch installiert wurde:

{% code overflow="wrap" %}

```python
import torch
print(torch.cuda.is_available())
A = torch.ones((10, 10), device = "cuda")
B = torch.ones((10, 10), device = "cuda")
A @ B
```

{% endcode %}

Sie sollten eine Matrix aus 10ern sehen. Prüfen Sie außerdem, dass der erste Wert True ist.

<figure><img src="/files/47722be880996fe4d02769e14d87ad69ffbb69ea" alt="" width="375"><figcaption></figcaption></figure>
{% endstep %}

{% step %}
**Unsloth installieren (nur wenn PyTorch funktioniert!)**

{% hint style="danger" %}
**Bestätigen Sie, dass PyTorch einwandfrei funktioniert und läuft – wenn nicht, ist PyTorch beschädigt, und das bedeutet leider möglicherweise, dass auf Ihrem Windows-Rechner die CUDA-Treiber neu installiert werden müssen.**
{% endhint %}

In Powershell (nachdem Sie Python über `exit()` verlassen haben, führen Sie Folgendes aus und warten Sie:

```bash
pip install unsloth
```

{% endstep %}

{% step %}
**Prüfen Sie, ob Unsloth funktioniert**

Verwenden Sie jetzt jedes Skript in [Unsloth-Notebooks](/docs/de/los-gehts/unsloth-notebooks.md) (als .py-Datei speichern) oder verwenden Sie das untenstehende einfache Skript:

{% code expandable="true" %}

```python
from unsloth import FastLanguageModel, FastModel
import torch
from trl import SFTTrainer, SFTConfig
from datasets import load_dataset
max_seq_length = 512
url = "https://huggingface.co/datasets/laion/OIG/resolve/main/unified_chip2.jsonl"
dataset = load_dataset("json", data_files = {"train" : url}, split = "train")

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "unsloth/gemma-3-270m-it",
    max_seq_length = max_seq_length, # Wählen Sie irgendeinen für langen Kontext!
    load_in_4bit = True,  # 4-Bit-Quantisierung. False = 16-Bit-LoRA.
    load_in_8bit = False, # 8-Bit-Quantisierung
    load_in_16bit = False, # 16-Bit-LoRA
    full_finetuning = False, # Für vollständiges Fine-Tuning verwenden.
    trust_remote_code = False, # Aktivieren, um neue Modelle zu unterstützen
    # token = "hf_...", # verwenden Sie einen, wenn Sie gesperrte Modelle verwenden
)

# Modell-Patching durchführen und schnelle LoRA-Gewichte hinzufügen
model = FastLanguageModel.get_peft_model(
    model,
    r = 16,
    target_modules = ["q_proj", "k_proj", "v_proj", "o_proj",
                      "gate_proj", "up_proj", "down_proj",],
    lora_alpha = 16,
    lora_dropout = 0, # Unterstützt beliebige, aber = 0 ist optimiert
    bias = "none",    # Unterstützt beliebige, aber = "none" ist optimiert
    # [NEU] „unsloth“ verwendet 30 % weniger VRAM und passt in 2x größere Batch-Größen!
    use_gradient_checkpointing = "unsloth", # True oder "unsloth" für sehr langen Kontext
    random_state = 3407,
    max_seq_length = max_seq_length,
    use_rslora = False,  # Wir unterstützen rankstabilisiertes LoRA
    loftq_config = None, # Und LoftQ
)

trainer = SFTTrainer(
    model = model,
    train_dataset = dataset,
    tokenizer = tokenizer,
    args = SFTConfig(
        max_seq_length = max_seq_length,
        per_device_train_batch_size = 2,
        gradient_accumulation_steps = 4,
        warmup_steps = 10,
        max_steps = 60,
        logging_steps = 1,
        output_dir = "outputs",
        optim = "adamw_8bit",
        seed = 3407,
        dataset_num_proc = 1,
    ),
)
trainer.train()
```

{% endcode %}

Sie sollten sehen:

```bash
🦥 Unsloth: Wir werden Ihren Computer patchen, um 2x schnelleres kostenloses Finetuning zu ermöglichen.
🦥 Unsloth Zoo wird jetzt alles patchen, um das Training schneller zu machen!
==((====))==  Unsloth 2026.1.4: Schnelles Gemma3-Patching. Transformers: 4.57.6.
   \\   /|    NVIDIA GeForce RTX 3060. Anzahl GPUs = 1. Max. Speicher: 12.0 GB. Plattform: Windows.
O^O/ \_/ \    Torch: 2.10.0+cu130. CUDA: 8.6. CUDA Toolkit: 13.0. Triton: 3.6.0
\        /    Bfloat16 = WAHR. FA [Xformers = 0.0.34. FA2 = Falsch]
 "-____-"     Kostenlose Lizenz: http://github.com/unslothai/unsloth
Unsloth: Schnelles Herunterladen ist aktiviert – ignorieren Sie Download-Balken, die rot gefärbt sind!
Unsloth: Gemma3 unterstützt SDPA nicht – Wechsel zu schnellem Eager.
Unsloth: `model.base_model.model.model` auf gradienpflichtig setzen
Unsloth: Tokenisierung von ["text"] (num_proc=1):   0%|                 | 0/210289 [00:00<?, ? examples/s]�  Unsloth: Wir werden Ihren Computer patchen, um 2x schnelleres kostenloses Finetuning zu ermöglichen.
🦥 Unsloth: Wir werden Ihren Computer patchen, um 2x schnelleres kostenloses Finetuning zu ermöglichen.
```

Und Training:

<figure><img src="/files/d3ad3f01ee6ce5a558dc238af909bbfac2ce5e72" alt="" width="375"><figcaption></figcaption></figure>
{% endstep %}
{% endstepper %}

### Methode #2 - Docker:

Docker könnte für Windows-Benutzer der einfachste Weg sein, um mit Unsloth zu starten, da keine Einrichtung und keine Abhängigkeitsprobleme erforderlich sind. [**`unsloth/unsloth`**](https://hub.docker.com/r/unsloth/unsloth) ist das einzige Docker-Image von Unsloth. Für [Blackwell](/docs/de/blog/fine-tuning-llms-with-blackwell-rtx-50-series-and-unsloth.md) und GPUs der 50er-Serie verwenden Sie dasselbe Image – kein separates Image erforderlich.

Für Installationsanweisungen folgen Sie bitte unserer [Docker-Anleitung](/docs/de/blog/how-to-fine-tune-llms-with-unsloth-and-docker.md), ansonsten hier eine Schnellstart-Anleitung:

{% stepper %}
{% step %}
**Installieren Sie Docker und das NVIDIA Container Toolkit.**

Installieren Sie Docker über [Linux](https://docs.docker.com/engine/install/) oder [Desktop](https://docs.docker.com/desktop/) (sonstige). Dann installieren Sie das [NVIDIA Container Toolkit](https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html#installation):

```bash
export NVIDIA_CONTAINER_TOOLKIT_VERSION=1.17.8-1
sudo apt-get update && sudo apt-get install -y \\
  nvidia-container-toolkit=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \\
  nvidia-container-toolkit-base=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \\
  libnvidia-container-tools=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \\
  libnvidia-container1=${NVIDIA_CONTAINER_TOOLKIT_VERSION}
```

{% endstep %}

{% step %}
**Führen Sie den Container aus.**

[**`unsloth/unsloth`**](https://hub.docker.com/r/unsloth/unsloth) ist das einzige Docker-Image von Unsloth.

```bash
docker run -d -e JUPYTER_PASSWORD="mypassword" \\
  -p 8888:8888 -p 2222:22 \\
  -v $(pwd)/work:/workspace/work \\
  --gpus all \\
  unsloth/unsloth
```

{% endstep %}

{% step %}
**Greifen Sie auf Jupyter Lab zu**

Gehen Sie zu [http://localhost:8888](http://localhost:8888/) und öffnen Sie Unsloth. Greifen Sie auf die `unsloth-notebooks` -Tabs zu, um Unsloth-Notebooks zu sehen.
{% endstep %}

{% step %}
**Beginnen Sie mit dem Training mit Unsloth**

Wenn Sie neu sind, folgen Sie unserer Schritt-für-Schritt-Anleitung [Fine-Tuning-Anleitung](/docs/de/los-gehts/fine-tuning-llms-guide.md), [RL-Anleitung](/docs/de/los-gehts/reinforcement-learning-rl-guide.md) oder speichern/kopieren Sie einfach eines unserer vorgefertigten [Notebooks](/docs/de/los-gehts/unsloth-notebooks.md).
{% endstep %}

{% step %}
**Docker-Probleme – GPU wird nicht erkannt?**

Versuchen Sie es mit WSL über [#method-2-wsl](#method-2-wsl "mention")
{% endstep %}
{% endstepper %}

### Methode #3 - WSL:

{% stepper %}
{% step %}
**WSL installieren**

Öffnen Sie die Eingabeaufforderung, das Terminal, und installieren Sie Ubuntu. Legen Sie das Passwort fest, falls Sie dazu aufgefordert werden.

```bash
wsl.exe --install Ubuntu-24.04
wsl.exe -d Ubuntu-24.04
```

{% endstep %}

{% step %} <mark style="color:$primary;background-color:orange;">**Wenn Sie (1) NICHT ausgeführt haben, also WSL bereits installiert haben**</mark>**, geben Sie WSL ein, indem Sie `wsl` und ENTER in die Eingabeaufforderung eingeben**

```bash
wsl
```

{% endstep %}

{% step %}
**Python installieren**

{% code overflow="wrap" %}

```bash
sudo apt update
sudo apt install python3 python3-full python3-pip python3-venv -y
```

{% endcode %}
{% endstep %}

{% step %}
**PyTorch installieren**

{% code overflow="wrap" %}

```bash
pip install torch torchvision --force-reinstall --index-url https://download.pytorch.org/whl/cu130
```

{% endcode %}

Wenn Sie auf Berechtigungsprobleme stoßen, verwenden Sie `–break-system-packages` also `pip install torch torchvision --force-reinstall --index-url https://download.pytorch.org/whl/cu130 –break-system-packages`
{% endstep %}

{% step %}
**Unsloth und Jupyter Notebook installieren**

{% code overflow="wrap" %}

```bash
pip install unsloth jupyter
```

{% endcode %}

Wenn Sie auf Berechtigungsprobleme stoßen, verwenden Sie `–-break-system-packages` also `pip install unsloth jupyter –-break-system-packages`
{% endstep %}

{% step %}
**Unsloth über Jupyter Notebook starten**

{% code overflow="wrap" %}

```bash
jupyter notebook
```

{% endcode %}

Dann öffnen Sie unsere Notebooks innerhalb von [Unsloth-Notebooks](/docs/de/los-gehts/unsloth-notebooks.md)und laden Sie sie! Sie können auch zu Colab-Notebooks gehen und herunterladen > .ipynb herunterladen und sie laden.

![](/files/d6d1d766900b310a319953f98c00dbc8dc264f39)
{% endstep %}
{% endstepper %}

{% hint style="warning" %}
Wenn Sie GRPO verwenden oder vLLM verwenden möchten, unterstützt vLLM derzeit Windows nicht direkt, sondern nur über WSL oder Linux.
{% endhint %}

### **Fehlerbehebung /** Erweitert

Für **erweiterte Installationsanweisungen** oder wenn bei Installationen seltsame Fehler auftreten:

1. Installieren Sie `torch` und `triton`. Gehen Sie zu <https://pytorch.org>, um es zu installieren. Zum Beispiel `pip install torch torchvision torchaudio triton`
2. Bestätigen Sie, ob CUDA korrekt installiert ist. Versuchen Sie `nvcc`. Wenn das fehlschlägt, müssen Sie `cudatoolkit` oder CUDA-Treiber installieren.
3. Wenn Sie eine Intel-GPU verwenden, müssen Sie unserer [Intel-Windows-Anleitung](/docs/de/los-gehts/install/intel.md#windows-only-runtime-configurations)
4. Installieren Sie `xformers` manuell folgen. Sie können versuchen, `vllm` zu installieren und zu sehen, ob `vllm` erfolgreich ist. Prüfen Sie, ob `xformers` erfolgreich war mit `python -m xformers.info` Gehen Sie zu <https://github.com/facebookresearch/xformers>. Eine weitere Option ist die Installation von `flash-attn` für Ampere-GPUs.
5. Überprüfen Sie sorgfältig, ob Ihre Versionen von Python, CUDA, CUDNN, `torch`, `triton`und `xformers` miteinander kompatibel sind. Die [PyTorch-Kompatibilitätsmatrix](https://github.com/pytorch/pytorch/blob/main/RELEASE.md#release-compatibility-matrix) kann nützlich sein.
6. Installieren Sie abschließend `bitsandbytes` und prüfen Sie es mit `python -m bitsandbytes`
7. Wenn Unsloth Ihre GPU nicht erkennt oder nicht verwendet und Sie unseren Docker-Container unter Windows verwenden, muss Ihre CUDA-Toolkit-Version `nvcc --version` mit der von nvidia-smi auf der Host-GPU angezeigten Version übereinstimmen. Die Unterstützung für Docker-Container unter Windows erfolgt nicht automatisch. [Sie müssen der Docker-Anleitung folgen](https://docs.docker.com/desktop/features/gpu/).

### Unsloth Studio deinstallieren

Um Unsloth Studio unter Windows zu deinstallieren, folgen Sie diesen 4 Schritten:

#### **1. Entfernen Sie die Anwendung**

* Windows (PowerShell): `Remove-Item -Recurse -Force "$HOME\.unsloth\studio\unsloth", "$HOME\.unsloth\studio\studio"`&#x20;

Dadurch wird die Anwendung entfernt, aber Ihre Modell-Checkpoints, Exporte, Historie, Cache und Chats bleiben erhalten.

#### **2. Entfernen Sie Verknüpfungen und Symlinks**

**WSL / Windows (PowerShell):**

```bash
Remove-Item -Force "$HOME\Desktop\Unsloth Studio.lnk"
Remove-Item -Force "$env:APPDATA\Microsoft\Windows\Start Menu\Programs\Unsloth Studio.lnk"
```

#### **3. Entfernen Sie den CLI-Befehl**

**WSL:**

```bash
rm -f ~/.local/bin/unsloth
```

**Windows (PowerShell):** Das Installationsprogramm hat das `Scripts` -Verzeichnis des venv zu Ihrem Benutzer-PATH hinzugefügt. Um es zu entfernen, öffnen Sie Einstellungen → System → Info → Erweiterte Systemeinstellungen → Umgebungsvariablen, suchen Sie `Path` unter Benutzervariablen und entfernen Sie den Eintrag, der auf `.unsloth\studio\...\Scripts`.

#### **4. Alles entfernen (optional)**

Um auch Historie, Cache, Chats, Modell-Checkpoints und Modell-Exporte zu löschen, löschen Sie den gesamten Unsloth-Ordner:

* WSL, Linux: `rm -rf ~/.unsloth`
* Windows (PowerShell): `Remove-Item -Recurse -Force "$HOME\.unsloth"`&#x20;

Beachten Sie, dass heruntergeladene HF-Modell-Dateien separat im Hugging-Face-Cache gespeichert werden – keiner der obigen Schritte entfernt sie. Siehe **Modell-Dateien löschen** unten, wenn Sie diesen Speicherplatz freigeben möchten.


---

# Agent Instructions: Querying This Documentation

If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter:

```
GET https://unsloth.ai/docs/de/los-gehts/install/windows-installation.md?ask=<question>
```

The question should be specific, self-contained, and written in natural language.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.