# Unsloth-Anforderungen

Unsloth kann auf zwei Arten verwendet werden: über [Unsloth Studio](https://unsloth.ai/docs/de/neu/studio/install), die Web-UI, oder über [Unsloth Core](#unsloth-core-requirements)das ursprüngliche codebasierte Version. Jede hat unterschiedliche Anforderungen.

## **Anforderungen an Unsloth Studio**

* **Mac:** Wie CPU - [Chat](https://unsloth.ai/docs/de/neu/studio/chat#using-unsloth-studio-chat) + [Datenrezepte](https://unsloth.ai/docs/de/neu/studio/data-recipe) funktioniert vorerst. **MLX** Training kommt sehr bald.
* **CPU: Unsloth funktioniert weiterhin ohne GPU**, für Chat + Datenrezepte.
* **Training:** Läuft auf **NVIDIA**: RTX 30, 40, 50, Blackwell, DGX Spark/Station usw. + **Intel** GPUs
* **Demnächst:** Unterstützung für **Apple MLX** und **AMD**.

### <i class="fa-windows">:windows:</i> Window**s**

Unsloth Studio läuft direkt unter Windows ohne WSL. Um Modelle zu trainieren, stellen Sie sicher, dass Ihr System diese Anforderungen erfüllt:

**Anforderungen**

* Windows 10 oder Windows 11 (64-Bit)
* NVIDIA-GPU mit installierten Treibern
* **App Installer** (enthält `winget`): [hier](https://learn.microsoft.com/en-us/windows/msix/app-installer/install-update-app-installer)
* **Git**: `winget install --id Git.Git -e --source winget`
* **Python**: Version 3.11 bis einschließlich 3.13
* Arbeiten Sie in einer Python-Umgebung wie **uv**, **venv**oder **conda/mamba**

### <i class="fa-apple">:apple:</i> MacOS

Unsloth Studio läuft auf Mac-Geräten für [Chat](#run-models-locally) für GGUF-Modelle und [Datenrezepte](https://unsloth.ai/docs/de/neu/studio/data-recipe) ([Export](https://unsloth.ai/docs/de/neu/studio/export) kommt sehr bald). **MLX-Training kommt bald!**

* macOS 12 Monterey oder neuer (Intel oder Apple Silicon)
* Homebrew installieren: [hier](https://brew.sh/)
* Git: `brew install git`&#x20;
* cmake: `brew install cmake`&#x20;
* openssl: `brew install openssl`
* Python: Version 3.11 bis einschließlich 3.13
* Arbeiten Sie in einer Python-Umgebung wie **uv**, **venv**oder **conda/mamba**

### <i class="fa-linux">:linux:</i> Linux & WSL

* Ubuntu 20.04+ oder ähnliche Distribution (64-Bit)
* NVIDIA-GPU mit installierten Treibern
* CUDA Toolkit (12.4+ empfohlen, 12.8+ für Blackwell)
* Git: `sudo apt install git`
* Python: Version 3.11 bis einschließlich 3.13
* Arbeiten Sie in einer Python-Umgebung wie **uv**, **venv**oder **conda/mamba**

### <i class="fa-microchip">:microchip:</i> Nur CPU

Unsloth Studio unterstützt CPU-Geräte für [Chat](#run-models-locally) für GGUF-Modelle und [Datenrezepte](https://unsloth.ai/docs/de/neu/studio/data-recipe) ([Export](https://unsloth.ai/docs/de/neu/studio/export) kommt sehr bald)

* Dasselbe wie oben für Linux (außer NVIDIA-GPU-Treiber) und MacOS.

### **Training**

Unsloth Studio Training funktioniert derzeit auf NVIDIA-GPUs, mit AMD-, MLX- und Intel-Unterstützung, die sehr bald kommt. Sie können weiterhin den [ursprünglichen Unsloth Core](#unsloth-requirements) verwenden, um auf AMD- und Intel-Geräten zu trainieren. **Python 3.11–3.13** ist erforderlich.

| Anforderung      | Linux / WSL                                  | Windows                                                 |
| ---------------- | -------------------------------------------- | ------------------------------------------------------- |
| **Git**          | In der Regel vorinstalliert                  | Wird vom Setup-Skript installiert (`winget`)            |
| **CMake**        | Vorinstalliert oder `sudo apt install cmake` | Wird vom Setup-Skript installiert (`winget`)            |
| **C++-Compiler** | `build-essential`                            | Visual Studio Build Tools 2022                          |
| **CUDA Toolkit** | Optional; `nvcc` automatisch erkannt         | Wird vom Setup-Skript installiert (passend zum Treiber) |

## Anforderungen an Unsloth Core

* **Betriebssystem**: Läuft unter Linux und [Windows](https://docs.unsloth.ai/get-started/install-and-update/windows-installation)
* Unterstützt NVIDIA-GPUs seit 2018+ einschließlich [Blackwell RTX 50](https://unsloth.ai/docs/de/blog/fine-tuning-llms-with-blackwell-rtx-50-series-and-unsloth) und [DGX Spark](https://unsloth.ai/docs/de/blog/fine-tuning-llms-with-nvidia-dgx-spark-and-unsloth)
* Minimale CUDA-Fähigkeit 7.0 (V100, T4, Titan V, RTX 20 & 50, A100, H100, L40 usw.) [Überprüfen Sie Ihre GPU!](https://developer.nvidia.com/cuda-gpus) GTX 1070, 1080 funktionieren, sind aber langsam.
* Das offizielle [Unsloth-Docker-Image](https://hub.docker.com/r/unsloth/unsloth) `unsloth/unsloth` ist auf Docker Hub verfügbar
  * [docker](https://unsloth.ai/docs/de/los-gehts/install/docker "mention")
* Unsloth läuft auf [AMD](https://unsloth.ai/docs/de/los-gehts/install/amd) und [Intel](https://unsloth.ai/docs/de/los-gehts/install/intel) GPUs (befolgen Sie unsere [spezifischen Anleitungen](https://unsloth.ai/docs/de/los-gehts/install)). Apple/Silicon/MLX ist in Arbeit
* Ihr Gerät sollte `xformers`, `torch`, `BitsandBytes` und `triton` unterstützen.
* Wenn Sie unterschiedliche Versionen von torch, transformers usw. haben, `pip install unsloth` werden automatisch alle neuesten Versionen dieser Bibliotheken installiert, sodass Sie sich keine Sorgen um die Versionskompatibilität machen müssen.

{% hint style="info" %}
Python 3.13 wird unterstützt!
{% endhint %}

### VRAM-Anforderungen für Fine-Tuning:

Wie viel GPU-Speicher benötige ich für LLM-Fine-Tuning mit Unsloth?

{% hint style="info" %}
Ein häufiges Problem, wenn Sie OOM oder keinen Speicher mehr haben, ist, dass Sie Ihre Batch-Größe zu hoch eingestellt haben. Setzen Sie sie auf 1, 2 oder 3, um weniger VRAM zu verwenden.

**Für Benchmarks zur Kontextlänge siehe** [**hier**](https://unsloth.ai/docs/de/grundlagen/unsloth-benchmarks#context-length-benchmarks)**.**
{% endhint %}

Sehen Sie sich diese Tabelle für VRAM-Anforderungen an, sortiert nach Modellparametern und Fine-Tuning-Methode. QLoRA verwendet 4-Bit, LoRA verwendet 16-Bit. Beachten Sie, dass manchmal je nach Modell mehr VRAM erforderlich ist, daher sind diese Zahlen das absolute Minimum:

| Modellparameter | QLoRA (4-Bit) VRAM | LoRA (16-Bit) VRAM |
| --------------- | ------------------ | ------------------ |
| 3B              | 3,5 GB             | 8 GB               |
| 7B              | 5 GB               | 19 GB              |
| 8B              | 6 GB               | 22 GB              |
| 9B              | 6,5 GB             | 24 GB              |
| 11B             | 7,5 GB             | 29 GB              |
| 14B             | 8,5 GB             | 33 GB              |
| 27B             | 22 GB              | 64 GB              |
| 32B             | 26 GB              | 76 GB              |
| 40B             | 30 GB              | 96 GB              |
| 70B             | 41 GB              | 164 GB             |
| 81B             | 48 GB              | 192 GB             |
| 90B             | 53 GB              | 212 GB             |
| 405B            | 237 GB             | 950 GB             |