| 80GB GPU | Inference Engine (50%) | Training Engine (50%) |
|---|---|---|
| Modellgewichte | 16GB | 16GB |
| KV-Cache | 24GB | |
| Aktivierungen, Gradienten, Optimizer-Zustände | 24GB |
Mehrzweck
64GB Platz
| KV-Cache | Aktivierungen, Gradienten, Optimizer-Zustände | Um dies zu aktivieren, fügen Sie einfach Folgendes zu allen RL / GRPO-Trainingsläufen hinzu, bevor Sie Unsloth importieren: ```python import os os.environ["UNSLOTH_VLLM_STANDBY"] = "1" ``` ## 🧪Performance-Experimente Hier erfahren Sie, wie wir die Speichernutzung und Kontextlänge für GRPO benchmarked haben. Beachten Sie, dass wir **2 Generationen pro Prompt durchführen, weil für GRPO zu funktionieren**, wir mindestens 2 Generationen benötigen, um Mittelwert und Varianz der Stichprobe zu berechnen. **Ohne 2 Generationen ist die Standardabweichung einer Stichprobe 0**. Das verursacht, dass die Vorteile, die dies verwenden: (Belohnung - Mittelwert)/Std **nicht definiert sind**. $$ Z=\frac{r\_i - \mu}{\sqrt{\frac{1}{n}\sum(r\_i-\mu)^2}} \\ Z\_{n=1}=\frac{r\_1 - \mu}{\sqrt{\frac{1}{1}\sum(r\_1-\mu)^2}}=\frac{0}{0}=\text{undefined} $$ Das bedeutet, speziell für GRPO ist eine maximale Kontextlänge von 6.144 für Qwen-3 32B tatsächlich 6.144 multipliziert mit 2 Generationen, d. h. 12.288 in der Länge. Wir stellen Experimente für Llama-3.1 8B sowohl für LoRA (16bit) als auch QLoRA (4bit) unten bereit:.png?alt=media)
| Experimente | Konfiguration | Status | GPU-Speichernutzung | Kommentare |
|---|---|---|---|---|
| Läuft 40 Schritte / 40 Minuten | 14,5 GiB (gesetzt durch vllm_gpu_util) | Genug, um in 32K KVCache mit Chunkgrößen von 2–4K zu passen oder z. B. 16K KVCache + 16K Chunks | |
| Läuft 32 Schritte in 40 m | 13,8 GiB (gesetzt durch…) | Ungefähr genug, um in ~28K KVCache mit Chunkgrößen von 2–4K zu passen oder z. B. 15K KVCache + 15K Chunks | |
| Modell lädt, kann aber nicht trainieren, weil selbst Batch-Größe 1 nicht passt | OOM | ||
| Modell lädt, kann aber nicht trainieren, weil selbst Batch-Größe 1 nicht passt | OOM | ||
| Trainiert einwandfrei 28 Schritte dauern 39min | ~15,1GiB | jede Eingabe, die etwas länger ist, führt zu OOM auf Colab | |
| Trainiert einwandfrei 29 Schritte dauern 40min | 13GiB, aber die meiste Zeit um die 10–11GB | Bei derselben Konfiguration sparen wir hier 2GiB bzw. 15% Speicher. Kann bei längeren Sequenzen höher sein |
