| 80-GB-GPU | Inference-Engine (50 %) | Trainings-Engine (50 %) |
|---|---|---|
| Modellgewichte | 16GB | 16GB |
| KV-Cache | 24GB | |
| Aktivierungen, Gradienten, Optimizer-Zustände | 24GB |
Mehrzweck
64 GB Speicherplatz
| KV-Cache | Aktivierungen, Gradienten, Optimizer-Zustände | Um dies zu aktivieren, füge einfach Folgendes zu allen RL / GRPO-Trainingsläufen vor jedem Unsloth-Import hinzu: ```python import os os.environ["UNSLOTH_VLLM_STANDBY"] = "1" # Unsloth-Standby spart 30%+ Speicher für RL ``` ## 🧪Leistungsexperimente Hier erfährst du, wie wir die Speichernutzung und Kontextlänge für GRPO gebenchmarkt haben. Beachte, dass wir **2 Generierungen pro Prompt durchführen, denn damit GRPO funktioniert**, benötigen wir mindestens 2 Generierungen, für die wir den Stichprobenmittelwert und die Varianz berechnen können. **Ohne 2 Generierungen ist die Standardabweichung einer Stichprobe 0**. Dadurch werden die Vorteile, die dies verwenden, undefiniert: (reward - mean)/std **sein**. $$ Z=\frac{r\_i - \mu}{\sqrt{\frac{1}{n}\sum(r\_i-\mu)^2}} \\ Z\_{n=1}=\frac{r\_1 - \mu}{\sqrt{\frac{1}{1}\sum(r\_1-\mu)^2}}=\frac{0}{0}=\text{undefined} $$ Das bedeutet speziell für GRPO, dass eine maximale Kontextlänge von 6.144 für Qwen-3 32B tatsächlich 6.144 multipliziert mit 2 Generierungen, also 12.288 in der Länge, entspricht. Wir zeigen unten Experimente für Llama-3.1 8B sowohl auf LoRA (16bit) als auch auf QLoRA (4bit):.png?alt=media)
| Experimente | Konfiguration | Status | GPU-Speichernutzung | Kommentare |
|---|---|---|---|---|
| Läuft 40 Schritte / 40 Minuten | 14.5 GiB (gesetzt durch vllm_gpu_util) | Genug, um 32K KVCache mit Chunks von 2-4K oder z. B. 16K KVCache + 16K-Chunks unterzubringen | |
| Läuft 32 Schritte in 40 Min. | 13.8 GiB (gesetzt durch…) | Ungefähr genug, um ~28K KVCache mit Chunks von 2-4K oder z. B. 15K KVCache + 15K-Chunks unterzubringen | |
| Modell wird geladen, aber Training ist nicht möglich, weil nicht einmal Batchgröße 1 hineinpasst | OOM | ||
| Modell wird geladen, aber Training ist nicht möglich, weil nicht einmal Batchgröße 1 hineinpasst | OOM | ||
| Trainiert problemlos 28 Schritte dauern 39 Min. | ~15.1GiB | jede etwas längere Eingabe führt auf Colab zu OOM | |
| Trainiert problemlos 29 Schritte dauern 40 Min. | 13GiB, aber die meiste Zeit etwa 10-11GB | Bei derselben Konfiguration sparen wir hier 2 GiB, also 15 % Speicher. Kann bei längeren Sequenzen höher sein |
