🛠️Unsloth-Anforderungen

Hier sind die Anforderungen von Unsloth, einschließlich System- und GPU-VRAM-Anforderungen.

Unsloth kann auf zwei Arten verwendet werden: über Unsloth Studio, die Web-Benutzeroberfläche, oder über Unsloth Core, die ursprüngliche, codebasierte Version. Jede hat unterschiedliche Anforderungen.

Unsloth Studio Anforderungen

Inference

Unsloth Studio Inference, Datenrezepte und Export funktionieren unter macOS, Windows und Linux mit oder ohne GPU, einschließlich reiner CPU-Setups.

Training

Unsloth Studio Training funktioniert derzeit mit NVIDIA-GPUs; Unterstützung für AMD, MLX und Intel folgt sehr bald. Sie können weiterhin das ursprüngliche Unsloth Core verwenden, um auf AMD- und Intel-Geräten zu trainieren. Python 3.11–3.13 wird benötigt.

Anforderung	Linux / WSL	Windows
Git	In der Regel vorinstalliert	Wird vom Setup-Skript installiert (winget)
CMake	Vorinstalliert oder sudo apt install cmake	Wird vom Setup-Skript installiert (winget)
C++ Compiler	build-essential	Visual Studio Build Tools 2022
CUDA Toolkit	Optional; nvcc wird automatisch erkannt	Vom Setup-Skript installiert (auf den Treiber abgestimmt)

Unsloth Core Anforderungen

• Betriebssystem: Funktioniert unter Linux und Windows

• Unterstützt NVIDIA-GPUs seit 2018+ einschließlich Blackwell RTX 50 und DGX Spark

• Mindest-CUDA-Fähigkeit 7.0 (V100, T4, Titan V, RTX 20 & 50, A100, H100, L40 usw.) Prüfen Sie Ihre GPU! GTX 1070, 1080 funktionieren, sind aber langsam.

• Das offizielle Unsloth Docker-Image unsloth/unsloth ist auf Docker Hub verfügbar

  • Docker

• Unsloth funktioniert auf AMD und Intel GPUs (folgen Sie unseren spezifischen Anleitungen). Apple/Silicon/MLX ist in Arbeit

• Ihr Gerät sollte xformers, torch, BitsandBytes und triton unterstützen.

• Wenn Sie unterschiedliche Versionen von torch, transformers usw. haben, pip install unsloth wird automatisch alle neuesten Versionen dieser Bibliotheken installieren, sodass Sie sich nicht um Versionskompatibilität kümmern müssen.

Python 3.13 wird unterstützt!

VRAM-Anforderungen für Fine-Tuning:

Wie viel GPU-Speicher benötige ich für LLM-Fine-Tuning mit Unsloth?

Ein häufiges Problem, wenn Sie OOM-Fehler oder Speichermangel haben, ist, dass Sie Ihre Batch-Größe zu hoch eingestellt haben. Stellen Sie sie auf 1, 2 oder 3, um weniger VRAM zu verwenden.

Für Benchmarks zur Kontextlänge siehe hier.

Überprüfen Sie diese Tabelle für VRAM-Anforderungen sortiert nach Modellparametern und Fine-Tuning-Methode. QLoRA verwendet 4-Bit, LoRA verwendet 16-Bit. Beachten Sie, dass je nach Modell manchmal mehr VRAM erforderlich ist, daher sind diese Zahlen die absoluten Mindestwerte:

Modellparameter	QLoRA (4-Bit) VRAM	LoRA (16-Bit) VRAM
3B	3.5 GB	8 GB
7B	5 GB	19 GB
8B	6 GB	22 GB
9B	6.5 GB	24 GB
11B	7.5 GB	29 GB
14B	8.5 GB	33 GB
27B	22GB	64GB
32B	26 GB	76 GB
40B	30GB	96GB
70B	41 GB	164 GB
81B	48GB	192GB
90B	53GB	212GB
405B	237 GB	950 GB