| 80GB GPU | Inferenz-Engine (50 %) | Trainings-Engine (50 %) |
|---|---|---|
| Modellgewichte | 16GB | 16GB |
| KV-Cache | 24GB | |
| Aktivierungen, Gradienten, Optimizer-Zustände | 24GB |
Mehrzweck
64GB Speicher
| KV-Cache | Aktivierungen, Gradienten, Optimizer-Zustände | Um dies zu aktivieren, füge einfach Folgendes vor jedem Unsloth-Import zu allen RL-/GRPO-Trainingsläufen hinzu: ```python import os os.environ["UNSLOTH_VLLM_STANDBY"] = "1" ``` ## 🧪Leistungsexperimente Hier erfährst du, wie wir den Speicherverbrauch und die Kontextlänge für GRPO benchmarked haben. Beachte, dass wir **2 Generierungen pro Prompt durchführen, weil GRPO nur funktioniert**, wenn wir mindestens 2 Generierungen haben, für die wir Mittelwert und Varianz der Stichprobe berechnen können. **Ohne 2 Generierungen ist die Standardabweichung einer Stichprobe 0**. Dadurch werden die Vorteile, die dies verwenden: (Belohnung - Mittelwert)/Std **nicht definiert**. $$ Z=\frac{r\_i - \mu}{\sqrt{\frac{1}{n}\sum(r\_i-\mu)^2}} \\ Z\_{n=1}=\frac{r\_1 - \mu}{\sqrt{\frac{1}{1}\sum(r\_1-\mu)^2}}=\frac{0}{0}=\text{undefined} $$ Das bedeutet speziell für GRPO, dass eine maximale Kontextlänge von 6.144 für Qwen-3 32B tatsächlich 6.144 multipliziert mit 2 Generierungen, also 12.288 Länge, entspricht. Wir bieten unten Experimente für Llama-3.1 8B sowohl auf LoRA (16bit) als auch auf QLoRA (4bit) an:| Experimente | Konfiguration | Status | GPU-Speichernutzung | Kommentare |
|---|---|---|---|---|
| Läuft 40 Schritte / 40 Minuten | 14,5 GiB (festgelegt durch vllm_gpu_util) | Reicht aus, um 32K KVCache mit Blöcken von 2-4K oder z. B. 16K KVCache + 16K-Blöcken unterzubringen | |
| Läuft 32 Schritte in 40 Min | 13,8 GiB (festgelegt durch …) | Reicht ungefähr aus, um ~28K KVCache mit Blöcken von 2-4K oder z. B. 15K KVCache + 15K-Blöcken unterzubringen | |
| Modell lädt, kann aber nicht trainieren, weil nicht einmal Batch-Größe 1 passt | OOM | ||
| Modell lädt, kann aber nicht trainieren, weil nicht einmal Batch-Größe 1 passt | OOM | ||
| Trainiert problemlos 28 Schritte dauern 39 Min | ~15,1GiB | jede etwas längere Eingabe führt auf Colab zu OOM | |
| Trainiert problemlos 29 Schritte dauern 40 Min | 13GiB, aber meistens etwa 10-11GB | Bei derselben Konfiguration sparen wir hier 2GiB, also 15 % Speicher. Kann bei längeren Sequenzen höher sein |