🛠️Unsloth-Anforderungen

Hier sind Unsloths Anforderungen einschließlich System- und GPU-VRAM-Anforderungen.

Systemanforderungen

• Betriebssystem: Funktioniert unter Linux und Windows

• Unterstützt NVIDIA-GPUs seit 2018+ einschließlich Blackwell RTX 50 und DGX Spark

• Mindest-CUDA-Fähigkeit 7.0 (V100, T4, Titan V, RTX 20 & 50, A100, H100, L40 usw.) Überprüfe deine GPU! GTX 1070, 1080 funktionieren, sind aber langsam.

• Das offizielle Unsloth Docker-Image unsloth/unsloth ist auf Docker Hub verfügbar

  • Docker

• Unsloth läuft auf AMD und Intel GPUs (folge unseren spezifischen Anleitungen). Apple/Silicon/MLX ist in Arbeit

• Dein Gerät sollte xformers, torch, BitsandBytes und triton Unterstützung haben.

• Wenn du unterschiedliche Versionen von torch, transformers usw. hast, pip install unsloth wird automatisch alle neuesten Versionen dieser Bibliotheken installieren, sodass du dir keine Gedanken über Versionskompatibilität machen musst.

Python 3.13 wird jetzt unterstützt!

VRAM-Anforderungen für Fine-Tuning:

Wie viel GPU-Speicher benötige ich für das LLM-Fine-Tuning mit Unsloth?

Ein häufiges Problem bei OOM oder Speichermangel ist, dass du deine Batch-Größe zu hoch eingestellt hast. Stelle sie auf 1, 2 oder 3, um weniger VRAM zu verwenden.

Für Kontextlängen-Benchmarks siehe hier.

Sieh dir diese Tabelle für VRAM-Anforderungen an, sortiert nach Modellparametern und Fine-Tuning-Methode. QLoRA verwendet 4-Bit, LoRA verwendet 16-Bit. Beachte, dass manchmal je nach Modell mehr VRAM erforderlich ist, daher sind diese Zahlen die absoluten Mindestwerte:

Modellparameter	QLoRA (4-Bit) VRAM	LoRA (16-Bit) VRAM
3B	3,5 GB	8 GB
7B	5 GB	19 GB
8B	6 GB	22 GB
9B	6,5 GB	24 GB
11B	7,5 GB	29 GB
14B	8,5 GB	33 GB
27B	22 GB	64 GB
32B	26 GB	76 GB
40B	30 GB	96 GB
70B	41 GB	164 GB
81B	48 GB	192 GB
90B	53 GB	212 GB
405B	237 GB	950 GB