🛠️Unsloth-Anforderungen

Hier sind die Anforderungen von Unsloth, einschließlich System- und GPU-VRAM-Anforderungen.

Unsloth kann auf zwei Arten verwendet werden: über Unsloth Studio, die Web-UI, oder über Unsloth Core, die ursprüngliche codebasierte Version. Jede hat unterschiedliche Anforderungen.

Anforderungen für Unsloth Studio

• Mac: Wie CPU - Chat + Datenrezepte funktioniert derzeit. MLX Training kommt sehr bald.

• CPU: Unsloth funktioniert weiterhin ohne GPU, aber für Chat + Datenrezepte.

• Training: Funktioniert auf NVIDIA: RTX 30, 40, 50, Blackwell, DGX Spark/Station usw. + Intel GPUs

• Kommt bald: Unterstützung für Apple MLX und AMD.

Windows

Unsloth Studio funktioniert direkt unter Windows ohne WSL. Um Modelle zu trainieren, stellen Sie sicher, dass Ihr System diese Anforderungen erfüllt:

Anforderungen

• Windows 10 oder Windows 11 (64-Bit)

• NVIDIA-GPU mit installierten Treibern

• App Installer (enthält winget): hier

• Git: winget install --id Git.Git -e --source winget

• Python: Version 3.11 bis einschließlich, aber nicht 3.14

• Arbeiten Sie in einer Python-Umgebung wie uv, venv, oder conda/mamba

MacOS

Unsloth Studio funktioniert auf Mac-Geräten für Chat für GGUF-Modelle und Datenrezepte (Export kommt sehr bald). MLX-Training kommt bald!

• macOS 12 Monterey oder neuer (Intel oder Apple Silicon)

• Homebrew installieren: hier

• Git: brew install git

• cmake: brew install cmake

• openssl: brew install openssl

• Python: Version 3.11 bis einschließlich, aber nicht 3.14

• Arbeiten Sie in einer Python-Umgebung wie uv, venv, oder conda/mamba

Linux & WSL

• Ubuntu 20.04+ oder ähnliche Distribution (64-Bit)

• NVIDIA-GPU mit installierten Treibern

• CUDA-Toolkit (12.4+ empfohlen, 12.8+ für Blackwell)

• Git: sudo apt install git

• Python: Version 3.11 bis einschließlich, aber nicht 3.14

• Arbeiten Sie in einer Python-Umgebung wie uv, venv, oder conda/mamba

Nur CPU

Unsloth Studio unterstützt CPU-Geräte für Chat für GGUF-Modelle und Datenrezepte (Export kommt sehr bald)

• Dasselbe wie die oben genannten für Linux (außer NVIDIA-GPU-Treiber) und MacOS.

Training

Das Training mit Unsloth Studio funktioniert derzeit auf NVIDIA-GPUs, die Unterstützung für AMD, MLX und Intel kommt sehr bald. Sie können weiterhin das ursprüngliche Unsloth Core verwenden, um auf AMD- und Intel-Geräten zu trainieren. Python 3.11–3.13 ist erforderlich.

Anforderung	Linux / WSL	Windows
Git	Normalerweise vorinstalliert	Wird vom Setup-Skript installiert (winget)
CMake	Vorinstalliert oder sudo apt install cmake	Wird vom Setup-Skript installiert (winget)
C++-Compiler	build-essential	Visual Studio Build Tools 2022
CUDA-Toolkit	Optional; nvcc automatisch erkannt	Wird vom Setup-Skript installiert (an den Treiber angepasst)

Anforderungen für Unsloth Core

• Betriebssystem: Läuft unter Linux und Windows

• Unterstützt NVIDIA-GPUs seit 2018+ einschließlich Blackwell RTX 50 und DGX Spark

• Minimale CUDA-Fähigkeit 7.0 (V100, T4, Titan V, RTX 20 & 50, A100, H100, L40 usw.) Überprüfen Sie Ihre GPU! GTX 1070, 1080 funktioniert, ist aber langsam.

• Das offizielle Unsloth-Docker-Image unsloth/unsloth ist auf Docker Hub verfügbar

  • Docker

• Unsloth funktioniert auf AMD und Intel GPUs (befolgen Sie unsere spezifischen Anleitungen). Apple/Silicon/MLX ist in Arbeit

• Ihr Gerät sollte xformers, torch, BitsandBytes und triton Unterstützung haben.

• Wenn Sie unterschiedliche Versionen von torch, transformers usw. haben, pip install unsloth wird automatisch alle neuesten Versionen dieser Bibliotheken installieren, sodass Sie sich keine Sorgen um Versionskompatibilität machen müssen.

Python 3.13 wird unterstützt!

VRAM-Anforderungen für Fine-Tuning:

Wie viel GPU-Speicher benötige ich für das Fine-Tuning von LLMs mit Unsloth?

Ein häufiges Problem, wenn Sie OOM erhalten oder der Speicher knapp wird, ist, dass Sie Ihre Batch-Größe zu hoch eingestellt haben. Stellen Sie sie auf 1, 2 oder 3, um weniger VRAM zu verwenden.

Für Benchmarks zur Kontextlänge siehe hier.

In dieser Tabelle finden Sie die VRAM-Anforderungen, sortiert nach Modellparametern und Fine-Tuning-Methode. QLoRA verwendet 4-Bit, LoRA verwendet 16-Bit. Beachten Sie, dass je nach Modell manchmal mehr VRAM erforderlich ist, sodass diese Zahlen das absolute Minimum sind:

Modellparameter	VRAM für QLoRA (4-Bit)	VRAM für LoRA (16-Bit)
3B	3,5 GB	8 GB
7B	5 GB	19 GB
8B	6 GB	22 GB
9B	6,5 GB	24 GB
11B	7,5 GB	29 GB
14B	8,5 GB	33 GB
27B	22 GB	64 GB
32B	26 GB	76 GB
40B	30 GB	96 GB
70B	41 GB	164 GB
81B	48 GB	192 GB
90B	53 GB	212 GB
405B	237 GB	950 GB