# Wie man LLMs unter Windows mit Unsloth feinabstimmt (Schritt-für-Schritt-Anleitung)

Sie können jetzt Modelle direkt auf Ihrem lokalen Windows-Gerät ohne WSL feinabstimmen, indem Sie [Unsloth](https://github.com/unslothai/unsloth). Für diese Anleitung gibt es 3 Hauptmethoden, die Sie verwenden können ([Conda](#method-1-windows-via-conda), [Docker](#method-2-docker) und [WSL](#method-3-wsl)).\
Wenn Sie PyTorch bereits unter Windows installiert haben, `pip install unsloth` sollte funktionieren. Andernfalls folgen Sie unseren Anleitungen unten:

<a href="/pages/44f4bf2eea97ad3270d9e11ab9d33f2b9479ae22#method-1-windows-via-conda" class="button secondary">Conda-Tutorial</a><a href="/pages/44f4bf2eea97ad3270d9e11ab9d33f2b9479ae22#method-2-docker" class="button secondary">Docker-Tutorial</a><a href="/pages/44f4bf2eea97ad3270d9e11ab9d33f2b9479ae22#method-3-wsl" class="button secondary">WSL-Tutorial</a>

### Unsloth Studio

Wir haben eine neue Web-UI namens [Unsloth Studio](/docs/de/neu/studio/install.md) veröffentlicht, die unter Windows sofort einsatzbereit ist:

```bash
irm https://unsloth.ai/install.ps1 | iex
```

Verwenden Sie denselben Befehl zum Aktualisieren oder verwenden Sie `unsloth studio update`.

Dann zum Starten jedes Mal:

```bash
unsloth studio -H 0.0.0.0 -p 8888
```

Detaillierte Installationsanweisungen und Anforderungen für Unsloth Studio finden Sie, [in unserem Leitfaden](/docs/de/neu/studio/install.md).

Nachfolgend finden Sie Installationsanweisungen für das ursprüngliche **Unsloth Core**:

### Methode #1 - Windows über Conda:

{% stepper %}
{% step %}
**Miniconda (oder Anaconda) installieren**

Anaconda herunterladen [hier](https://www.anaconda.com/download). Unsere Empfehlung ist, [Miniconda](https://www.anaconda.com/docs/getting-started/miniconda/install#quickstart-install-instructions)zu verwenden. Um es zu nutzen, öffnen Sie zuerst Powershell - suchen Sie im Startmenü nach „Windows Powershell“:

<figure><img src="/files/a745f6ad2575db5ca3e44bad04ec9d28c89adaad" alt="" width="375"><figcaption></figcaption></figure>

Dann öffnet sich Powershell:

<figure><img src="/files/b44160fbe4b1b89196a017b1019ed05e6114c2ff" alt="" width="375"><figcaption></figcaption></figure>

Dann kopieren Sie das Folgende ein: CTRL+C, und fügen Sie es in Powershell mit CTRL+V ein:

{% code overflow="wrap" %}

```ps
Invoke-WebRequest -Uri "https://repo.anaconda.com/miniconda/Miniconda3-latest-Windows-x86_64.exe" -OutFile ".\miniconda.exe"
Start-Process -FilePath ".\miniconda.exe" -ArgumentList "/S" -Wait
del .\miniconda.exe
```

{% endcode %}

Akzeptieren Sie die Warnung und klicken Sie auf „Trotzdem einfügen“ und warten Sie.

<figure><img src="/files/2cd0b7d22600c1bcc2df83cb8402e03d9fc34620" alt="" width="375"><figcaption></figcaption></figure>

Es lädt den Installer wie unten herunter:

<figure><img src="/files/cf6da815e01daee1d2b7be5ccba40a7ba91de766" alt="" width="375"><figcaption></figcaption></figure>

Nach der Installation öffnen Sie **Anaconda Powershell Prompt** um Miniconda über Start -> Danach suchen zu verwenden:

<figure><img src="/files/2f24791abe15b903d58cb88484d4383118e7cf1a" alt="" width="375"><figcaption></figcaption></figure>

Dann sehen Sie:

<figure><img src="/files/3dade67d8c28d02672d7d12fcf56d9313803321f" alt="" width="375"><figcaption></figcaption></figure>
{% endstep %}

{% step %}
**Conda-Umgebung erstellen**

```bash
conda create --name unsloth_env python==3.12 -y
conda activate unsloth_env
```

**Sie werden sehen:**

<figure><img src="/files/2701aae6a22c945709be9d6a29178601f227e13a" alt="" width="375"><figcaption></figcaption></figure>
{% endstep %}

{% step %}
**Prüfen Sie `nvidia-smi` um zu bestätigen, dass Sie eine GPU haben, und achten Sie auf die CUDA-Version**

Nach Eingabe von `nvidia-smi` in Powershell sollten Sie etwas wie das Folgende sehen. Wenn Sie `nvidia-smi` nicht haben oder das Folgende nicht angezeigt wird, müssen Sie [NVIDIA-Treiber](https://www.nvidia.com/en-us/drivers/).

<figure><img src="/files/858d7311befd5f80844644615ba53daaa965bb33" alt="" width="375"><figcaption></figcaption></figure>
{% endstep %}

{% step %}
**installieren Sie PyTorch**

Wenn Sie `nvidia-smi` ausführen, sehen Sie oben rechts: „CUDA Version: 13.0“. Installieren Sie PyTorch in PowerShell über. Ändern Sie `130` an Ihre CUDA-Version an - stellen Sie sicher, dass die [Version existiert](https://pytorch.org/) und mit Ihrer CUDA-Treiberversion übereinstimmt.

{% code overflow="wrap" %}

```bash
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu130
```

{% endcode %}

Sie werden sehen:

<figure><img src="/files/9ce7fd7df2e895bcd8463c03eaf740aa670370ca" alt="" width="563"><figcaption></figcaption></figure>

Versuchen Sie dies in Python über `python` auszuführen, nachdem PyTorch installiert ist:

{% code overflow="wrap" %}

```python
import torch
print(torch.cuda.is_available())
A = torch.ones((10, 10), device = "cuda")
B = torch.ones((10, 10), device = "cuda")
A @ B
```

{% endcode %}

Sie sollten eine Matrix aus 10ern sehen. Prüfen Sie außerdem, dass der erste Wert True ist.

<figure><img src="/files/47722be880996fe4d02769e14d87ad69ffbb69ea" alt="" width="375"><figcaption></figcaption></figure>
{% endstep %}

{% step %}
**Unsloth installieren (nur wenn PyTorch funktioniert!)**

{% hint style="danger" %}
**Bestätigen Sie, dass PyTorch einwandfrei funktioniert und läuft - falls nicht, ist PyTorch defekt, und das bedeutet leider, dass auf Ihrem Windows-Rechner möglicherweise CUDA-Treiber neu installiert werden müssen.**
{% endhint %}

In Powershell (nachdem Sie Python über `exit()` verlassen haben, ausführen und warten:

```bash
pip install unsloth
```

{% endstep %}

{% step %}
**Prüfen, ob Unsloth funktioniert**

Verwenden Sie jetzt jedes beliebige Skript in [Unsloth-Notebooks](/docs/de/loslegen/unsloth-notebooks.md) (als .py-Datei speichern) oder verwenden Sie das folgende Basisskript:

{% code expandable="true" %}

```python
from unsloth import FastLanguageModel, FastModel
import torch
from trl import SFTTrainer, SFTConfig
from datasets import load_dataset
max_seq_length = 512
url = "https://huggingface.co/datasets/laion/OIG/resolve/main/unified_chip2.jsonl"
dataset = load_dataset("json", data_files = {"train" : url}, split = "train")

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "unsloth/gemma-3-270m-it",
    max_seq_length = max_seq_length, # Wählen Sie irgendeinen für langen Kontext!
    load_in_4bit = True,  # 4-Bit-Quantisierung. False = 16-Bit-LoRA.
    load_in_8bit = False, # 8-Bit-Quantisierung
    load_in_16bit = False, # 16-Bit-LoRA
    full_finetuning = False, # Für vollständiges Fine-Tuning verwenden.
    trust_remote_code = False, # Aktivieren, um neue Modelle zu unterstützen
    # token = "hf_...", # verwenden Sie einen, wenn Sie gesperrte Modelle nutzen
)

# Modell-Patching durchführen und schnelle LoRA-Gewichte hinzufügen
model = FastLanguageModel.get_peft_model(
    model,
    r = 16,
    target_modules = ["q_proj", "k_proj", "v_proj", "o_proj",
                      "gate_proj", "up_proj", "down_proj",],
    lora_alpha = 16,
    lora_dropout = 0, # Unterstützt beliebige Werte, aber = 0 ist optimiert
    bias = "none",    # Unterstützt beliebige Werte, aber = "none" ist optimiert
    # [NEU] "unsloth" verwendet 30 % weniger VRAM und passt 2x größere Batchgrößen!
    use_gradient_checkpointing = "unsloth", # True oder "unsloth" für sehr langen Kontext
    random_state = 3407,
    max_seq_length = max_seq_length,
    use_rslora = False,  # Wir unterstützen rank-stabilisiertes LoRA
    loftq_config = None, # Und LoftQ
)

trainer = SFTTrainer(
    model = model,
    train_dataset = dataset,
    tokenizer = tokenizer,
    args = SFTConfig(
        max_seq_length = max_seq_length,
        per_device_train_batch_size = 2,
        gradient_accumulation_steps = 4,
        warmup_steps = 10,
        max_steps = 60,
        logging_steps = 1,
        output_dir = "outputs",
        optim = "adamw_8bit",
        seed = 3407,
        dataset_num_proc = 1,
    ),
)
trainer.train()
```

{% endcode %}

Sie sollten sehen:

```bash
🦥 Unsloth: Wir werden Ihren Computer patchen, um 2x schnelleres kostenloses Finetuning zu ermöglichen.
🦥 Unsloth Zoo wird jetzt alles patchen, um das Training schneller zu machen!
==((====))==  Unsloth 2026.1.4: Schnelles Gemma3-Patching. Transformers: 4.57.6.
   \\   /|    NVIDIA GeForce RTX 3060. Anzahl GPUs = 1. Maximaler Speicher: 12,0 GB. Plattform: Windows.
O^O/ \_/ \    Torch: 2.10.0+cu130. CUDA: 8.6. CUDA Toolkit: 13.0. Triton: 3.6.0
\        /    Bfloat16 = TRUE. FA [Xformers = 0.0.34. FA2 = False]
 "-____-"     Kostenlose Lizenz: http://github.com/unslothai/unsloth
Unsloth: Schnelles Herunterladen ist aktiviert - ignorieren Sie Download-Balken, die rot gefärbt sind!
Unsloth: Gemma3 unterstützt SDPA nicht - Wechsel zu schnellem Eager.
Unsloth: `model.base_model.model.model` auf Gradientenerfordernis setzen
Unsloth: Tokenisierung von ["text"] (num_proc=1):   0%|                 | 0/210289 [00:00<?, ? Beispiele/s]�  Unsloth: Wir werden Ihren Computer patchen, um 2x schnelleres kostenloses Finetuning zu ermöglichen.
🦥 Unsloth: Wir werden Ihren Computer patchen, um 2x schnelleres kostenloses Finetuning zu ermöglichen.
```

Und Training:

<figure><img src="/files/d3ad3f01ee6ce5a558dc238af909bbfac2ce5e72" alt="" width="375"><figcaption></figcaption></figure>
{% endstep %}
{% endstepper %}

### Methode #2 - Docker:

Docker ist für Windows-Nutzer möglicherweise der einfachste Weg, mit Unsloth zu starten, da keine Einrichtung oder Abhängigkeitsprobleme nötig sind. [**`unsloth/unsloth`**](https://hub.docker.com/r/unsloth/unsloth) ist das einzige Docker-Image von Unsloth. Für [Blackwell](/docs/de/blog/fine-tuning-llms-with-blackwell-rtx-50-series-and-unsloth.md) und GPUs der 50er-Serie verwenden Sie dasselbe Image - kein separates Image erforderlich.

Für Installationsanweisungen folgen Sie bitte unserem [Docker-Leitfaden](/docs/de/blog/how-to-fine-tune-llms-with-unsloth-and-docker.md); andernfalls hier eine Schnellstartanleitung:

{% stepper %}
{% step %}
**Docker und NVIDIA Container Toolkit installieren.**

Installieren Sie Docker über [Linux](https://docs.docker.com/engine/install/) oder [Desktop](https://docs.docker.com/desktop/) (anderes). Dann installieren Sie [NVIDIA Container Toolkit](https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html#installation):

```bash
export NVIDIA_CONTAINER_TOOLKIT_VERSION=1.17.8-1
sudo apt-get update && sudo apt-get install -y \
  nvidia-container-toolkit=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  nvidia-container-toolkit-base=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  libnvidia-container-tools=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  libnvidia-container1=${NVIDIA_CONTAINER_TOOLKIT_VERSION}
```

{% endstep %}

{% step %}
**Führen Sie den Container aus.**

[**`unsloth/unsloth`**](https://hub.docker.com/r/unsloth/unsloth) ist das einzige Docker-Image von Unsloth.

```bash
docker run -d -e JUPYTER_PASSWORD="mypassword" \
  -p 8888:8888 -p 2222:22 \
  -v $(pwd)/work:/workspace/work \
  --gpus all \
  unsloth/unsloth
```

{% endstep %}

{% step %}
**Jupyter Lab aufrufen**

Gehen Sie zu [http://localhost:8888](http://localhost:8888/) und öffnen Sie Unsloth. Greifen Sie auf die `unsloth-notebooks` Registerkarten zu, um die Unsloth-Notebooks zu sehen.
{% endstep %}

{% step %}
**Mit Unsloth mit dem Training beginnen**

Wenn Sie neu sind, folgen Sie unserer schrittweisen [Fine-Tuning-Anleitung](/docs/de/loslegen/fine-tuning-llms-guide.md), [RL-Anleitung](/docs/de/loslegen/reinforcement-learning-rl-guide.md) oder speichern/kopieren Sie einfach eines unserer vorgefertigten [Notebooks](/docs/de/loslegen/unsloth-notebooks.md).
{% endstep %}

{% step %}
**Docker-Probleme - GPU nicht erkannt?**

Versuchen Sie WSL über [#method-2-wsl](#method-2-wsl "mention")
{% endstep %}
{% endstepper %}

### Methode #3 - WSL:

{% stepper %}
{% step %}
**WSL installieren**

Öffnen Sie die Eingabeaufforderung oder das Terminal und installieren Sie Ubuntu. Legen Sie das Passwort fest, falls Sie dazu aufgefordert werden.

```bash
wsl.exe --install Ubuntu-24.04
wsl.exe -d Ubuntu-24.04
```

{% endstep %}

{% step %} <mark style="color:$primary;background-color:orange;">**Wenn Sie (1) NICHT gemacht haben, also WSL bereits installiert haben**</mark>**, geben Sie WSL ein, indem Sie `wsl` und ENTER in die Eingabeaufforderung eingeben**

```bash
wsl
```

{% endstep %}

{% step %}
**Python installieren**

{% code overflow="wrap" %}

```bash
sudo apt update
sudo apt install python3 python3-full python3-pip python3-venv -y
```

{% endcode %}
{% endstep %}

{% step %}
**installieren Sie PyTorch**

{% code overflow="wrap" %}

```bash
pip install torch torchvision --force-reinstall --index-url https://download.pytorch.org/whl/cu130
```

{% endcode %}

Wenn Sie auf Berechtigungsprobleme stoßen, verwenden Sie `–break-system-packages` also `pip install torch torchvision --force-reinstall --index-url https://download.pytorch.org/whl/cu130 –break-system-packages`
{% endstep %}

{% step %}
**Unsloth und Jupyter Notebook installieren**

{% code overflow="wrap" %}

```bash
pip install unsloth jupyter
```

{% endcode %}

Wenn Sie auf Berechtigungsprobleme stoßen, verwenden Sie `–-break-system-packages` also `pip install unsloth jupyter –-break-system-packages`
{% endstep %}

{% step %}
**Unsloth über Jupyter Notebook starten**

{% code overflow="wrap" %}

```bash
jupyter notebook
```

{% endcode %}

Dann öffnen Sie unsere Notebooks innerhalb von [Unsloth-Notebooks](/docs/de/loslegen/unsloth-notebooks.md)und laden Sie sie! Sie können auch zu Colab-Notebooks gehen und herunterladen > .ipynb herunterladen und sie laden.

![](/files/d6d1d766900b310a319953f98c00dbc8dc264f39)
{% endstep %}
{% endstepper %}

{% hint style="warning" %}
Wenn Sie GRPO verwenden oder vLLM verwenden möchten, unterstützt vLLM derzeit Windows nicht direkt, sondern nur über WSL oder Linux.
{% endhint %}

### **Fehlerbehebung /** Erweitert

Für **erweiterte Installationsanweisungen** oder wenn während der Installation seltsame Fehler auftreten:

1. Installieren Sie `torch` und `triton`. Gehen Sie zu <https://pytorch.org>, um es zu installieren. Zum Beispiel `pip install torch torchvision torchaudio triton`
2. Bestätigen Sie, ob CUDA korrekt installiert ist. Versuchen Sie `nvcc`. Wenn das fehlschlägt, müssen Sie `cudatoolkit` oder CUDA-Treiber installieren.
3. Wenn Sie eine Intel-GPU verwenden, müssen Sie unserer [Intel Windows-Anleitung](/docs/de/loslegen/install/intel.md#windows-only-runtime-configurations)
4. Installieren Sie `xformers` manuell folgen. Sie können versuchen, `vllm` zu installieren und zu prüfen, ob `vllm` erfolgreich ist. Prüfen Sie, ob `xformers` erfolgreich war mit `python -m xformers.info` Gehen Sie zu <https://github.com/facebookresearch/xformers>. Eine andere Option ist, `flash-attn` für Ampere-GPUs zu installieren.
5. Überprüfen Sie noch einmal, ob Ihre Versionen von Python, CUDA, CUDNN, `torch`, `triton`, und `xformers` miteinander kompatibel sind. Die [PyTorch-Kompatibilitätsmatrix](https://github.com/pytorch/pytorch/blob/main/RELEASE.md#release-compatibility-matrix) kann nützlich sein.
6. Schließlich installieren Sie `bitsandbytes` und prüfen Sie es mit `python -m bitsandbytes`
7. Wenn Unsloth Ihre GPU nicht erkennt oder nicht verwendet und Sie unseren Docker-Container unter Windows verwenden, sollte Ihre CUDA-Toolkit-Version `nvcc --version` mit der von nvidia-smi auf der Host-GPU angezeigten CUDA-Version übereinstimmen. Die Unterstützung für Docker-Container unter Windows erfolgt nicht automatisch. [Sie müssen der Docker-Anleitung folgen](https://docs.docker.com/desktop/features/gpu/).

### Unsloth Studio deinstallieren

Um Unsloth Studio unter Windows zu deinstallieren, folgen Sie diesen 4 Schritten:

#### **1. Anwendung entfernen**

* WSL: `rm -rf ~/.unsloth/studio/unsloth_studio`
* Windows (PowerShell): `Remove-Item -Recurse -Force "$HOME\.unsloth\studio\unsloth_studio"`&#x20;

Dadurch wird die Anwendung entfernt, aber Ihre Modell-Checkpoints, Exporte, der Verlauf, der Cache und die Chats bleiben erhalten.

#### **2. Verknüpfungen und Symlinks entfernen**

**WSL / Windows (PowerShell):**

```bash
Remove-Item -Force "$HOME\Desktop\Unsloth Studio.lnk"
Remove-Item -Force "$env:APPDATA\Microsoft\Windows\Start Menu\Programs\Unsloth Studio.lnk"
```

#### **3. CLI-Befehl entfernen**

**WSL:**

```bash
rm -f ~/.local/bin/unsloth
```

**Windows (PowerShell):** Der Installer hat das `Scripts` -Verzeichnis des venv zu Ihrem Benutzer-PATH hinzugefügt. Um es zu entfernen, öffnen Sie Einstellungen → System → Info → Erweiterte Systemeinstellungen → Umgebungsvariablen, suchen Sie `Path` unter Benutzervariablen und entfernen Sie den Eintrag, der auf `.unsloth\studio\...\Scripts`.

#### **4. Alles entfernen (optional)**

Um auch Verlauf, Cache, Chats, Modell-Checkpoints und Modellexporte zu löschen, löschen Sie den gesamten Unsloth-Ordner:

* WSL, Linux: `rm -rf ~/.unsloth`
* Windows (PowerShell): `Remove-Item -Recurse -Force "$HOME\.unsloth"`&#x20;

Beachten Sie, dass heruntergeladene HF-Modelldateien separat im Hugging Face-Cache gespeichert werden - keiner der obigen Schritte entfernt sie. Siehe **Modelldateien löschen** unten, wenn Sie diesen Speicherplatz freigeben möchten.


---

# Agent Instructions: Querying This Documentation

If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter:

```
GET https://unsloth.ai/docs/de/loslegen/install/windows-installation.md?ask=<question>
```

The question should be specific, self-contained, and written in natural language.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.