🛠️Unsloth-Anforderungen

Hier sind die Anforderungen von Unsloth, einschließlich System- und GPU-VRAM-Anforderungen.

Unsloth kann auf zwei Arten verwendet werden: über Unsloth Studio, die Web-UI, oder über Unsloth Coredas ursprüngliche codebasierte Version. Jede hat unterschiedliche Anforderungen.

Anforderungen an Unsloth Studio

• Mac: Wie CPU - Chat + Datenrezepte funktioniert vorerst. MLX Training kommt sehr bald.

• CPU: Unsloth funktioniert weiterhin ohne GPU, für Chat + Datenrezepte.

• Training: Läuft auf NVIDIA: RTX 30, 40, 50, Blackwell, DGX Spark/Station usw. + Intel GPUs

• Demnächst: Unterstützung für Apple MLX und AMD.

Windows

Unsloth Studio läuft direkt unter Windows ohne WSL. Um Modelle zu trainieren, stellen Sie sicher, dass Ihr System diese Anforderungen erfüllt:

Anforderungen

• Windows 10 oder Windows 11 (64-Bit)

• NVIDIA-GPU mit installierten Treibern

• App Installer (enthält winget): hier

• Git: winget install --id Git.Git -e --source winget

• Python: Version 3.11 bis einschließlich 3.13

• Arbeiten Sie in einer Python-Umgebung wie uv, venvoder conda/mamba

MacOS

Unsloth Studio läuft auf Mac-Geräten für Chat für GGUF-Modelle und Datenrezepte (Export kommt sehr bald). MLX-Training kommt bald!

• macOS 12 Monterey oder neuer (Intel oder Apple Silicon)

• Homebrew installieren: hier

• Git: brew install git

• cmake: brew install cmake

• openssl: brew install openssl

• Python: Version 3.11 bis einschließlich 3.13

• Arbeiten Sie in einer Python-Umgebung wie uv, venvoder conda/mamba

Linux & WSL

• Ubuntu 20.04+ oder ähnliche Distribution (64-Bit)

• NVIDIA-GPU mit installierten Treibern

• CUDA Toolkit (12.4+ empfohlen, 12.8+ für Blackwell)

• Git: sudo apt install git

• Python: Version 3.11 bis einschließlich 3.13

• Arbeiten Sie in einer Python-Umgebung wie uv, venvoder conda/mamba

Nur CPU

Unsloth Studio unterstützt CPU-Geräte für Chat für GGUF-Modelle und Datenrezepte (Export kommt sehr bald)

• Dasselbe wie oben für Linux (außer NVIDIA-GPU-Treiber) und MacOS.

Training

Unsloth Studio Training funktioniert derzeit auf NVIDIA-GPUs, mit AMD-, MLX- und Intel-Unterstützung, die sehr bald kommt. Sie können weiterhin den ursprünglichen Unsloth Core verwenden, um auf AMD- und Intel-Geräten zu trainieren. Python 3.11–3.13 ist erforderlich.

Anforderung	Linux / WSL	Windows
Git	In der Regel vorinstalliert	Wird vom Setup-Skript installiert (winget)
CMake	Vorinstalliert oder sudo apt install cmake	Wird vom Setup-Skript installiert (winget)
C++-Compiler	build-essential	Visual Studio Build Tools 2022
CUDA Toolkit	Optional; nvcc automatisch erkannt	Wird vom Setup-Skript installiert (passend zum Treiber)

Anforderungen an Unsloth Core

• Betriebssystem: Läuft unter Linux und Windows

• Unterstützt NVIDIA-GPUs seit 2018+ einschließlich Blackwell RTX 50 und DGX Spark

• Minimale CUDA-Fähigkeit 7.0 (V100, T4, Titan V, RTX 20 & 50, A100, H100, L40 usw.) Überprüfen Sie Ihre GPU! GTX 1070, 1080 funktionieren, sind aber langsam.

• Das offizielle Unsloth-Docker-Image unsloth/unsloth ist auf Docker Hub verfügbar

  • Docker

• Unsloth läuft auf AMD und Intel GPUs (befolgen Sie unsere spezifischen Anleitungen). Apple/Silicon/MLX ist in Arbeit

• Ihr Gerät sollte xformers, torch, BitsandBytes und triton unterstützen.

• Wenn Sie unterschiedliche Versionen von torch, transformers usw. haben, pip install unsloth werden automatisch alle neuesten Versionen dieser Bibliotheken installiert, sodass Sie sich keine Sorgen um die Versionskompatibilität machen müssen.

Python 3.13 wird unterstützt!

VRAM-Anforderungen für Fine-Tuning:

Wie viel GPU-Speicher benötige ich für LLM-Fine-Tuning mit Unsloth?

Ein häufiges Problem, wenn Sie OOM oder keinen Speicher mehr haben, ist, dass Sie Ihre Batch-Größe zu hoch eingestellt haben. Setzen Sie sie auf 1, 2 oder 3, um weniger VRAM zu verwenden.

Für Benchmarks zur Kontextlänge siehe hier.

Sehen Sie sich diese Tabelle für VRAM-Anforderungen an, sortiert nach Modellparametern und Fine-Tuning-Methode. QLoRA verwendet 4-Bit, LoRA verwendet 16-Bit. Beachten Sie, dass manchmal je nach Modell mehr VRAM erforderlich ist, daher sind diese Zahlen das absolute Minimum:

Modellparameter	QLoRA (4-Bit) VRAM	LoRA (16-Bit) VRAM
3B	3,5 GB	8 GB
7B	5 GB	19 GB
8B	6 GB	22 GB
9B	6,5 GB	24 GB
11B	7,5 GB	29 GB
14B	8,5 GB	33 GB
27B	22 GB	64 GB
32B	26 GB	76 GB
40B	30 GB	96 GB
70B	41 GB	164 GB
81B	48 GB	192 GB
90B	53 GB	212 GB
405B	237 GB	950 GB