| GPU 80 Go | Moteur d'inférence (50 %) | Moteur d'entraînement (50 %) |
|---|---|---|
| Poids du modèle | 16 Go | 16 Go |
| Cache KV | 24 Go | |
| Activations, gradients, états de l'optimiseur | 24 Go |
Polyvalent
Espace de 64 Go
| Cache KV | Activations, gradients, états de l'optimiseur | Pour activer cela, ajoutez simplement ce qui suit à toutes les exécutions d'entraînement RL / GRPO avant tout import Unsloth : ```python import os os.environ["UNSLOTH_VLLM_STANDBY"] = "1" ``` ## 🧪Expériences de performance Ici vous découvrirez comment nous avons mesuré l'utilisation de la mémoire et la longueur de contexte pour GRPO. Notez que nous faisons **2 générations par prompt car pour que GRPO fonctionne**, nous avons besoin d'au moins 2 générations pour pouvoir calculer la moyenne d'échantillon et la variance. **Sans 2 générations, l'écart type d'un seul échantillon est 0**. Cela provoque que les avantages qui utilisent ceci : (reward - mean)/std **soient indéfinis**. $$ Z=\frac{r\_i - \mu}{\sqrt{\frac{1}{n}\sum(r\_i-\mu)^2}} \\ Z\_{n=1}=\frac{r\_1 - \mu}{\sqrt{\frac{1}{1}\sum(r\_1-\mu)^2}}=\frac{0}{0}=\text{undefined} $$ Cela signifie que pour GRPO spécifiquement, une longueur de contexte maximale de 6 144 pour Qwen-3 32B correspond en fait à 6 144 multiplié par 2 générations, soit 12 288 en longueur. Nous fournissons des expériences pour Llama-3.1 8B sur LoRA (16 bits) et QLoRA (4 bits) ci‑dessous :| Expériences | Configuration | Statut | Utilisation mémoire GPU | Commentaires |
|---|---|---|---|---|
| S'exécute pendant 40 étapes / 40 minutes | 14,5 Gio (défini par vllm_gpu_util) | Suffisant pour tenir dans 32K KVCache avec des chunks de 2-4K ou par exemple 16K KVCache + chunks de 16K | |
| S'exécute 32 étapes en 40 m | 13,8 Gio (défini par…) | Approx suffisamment pour tenir dans ~28K KVCache avec des chunks de 2-4K ou par exemple 15K KVCache + chunks de 15K | |
| le modèle se charge mais ne peut pas entraîner car même une taille de batch de 1 ne rentre pas | OOM | ||
| le modèle se charge mais ne peut pas entraîner car même une taille de batch de 1 ne rentre pas | OOM | ||
| S'entraîne correctement 28 étapes prennent 39 min | ~15,1 Gio | toute entrée légèrement plus longue entraînera un OOM sur Colab | |
| S'entraîne correctement 29 étapes prennent 40 min | 13 Gio mais la plupart du temps autour de 10-11 Go | Avec la même config, nous économisons 2 Gio soit 15 % de mémoire ici. Peut être plus élevé pour des séquences plus longues |