| GPU de 80 Go | Moteur d'inférence (50 %) | Moteur d'entraînement (50 %) |
|---|---|---|
| Poids du modèle | 16 Go | 16 Go |
| Cache KV | 24 Go | |
| Activations, gradients, états de l'optimiseur | 24 Go |
Polyvalent
64 Go d'espace
| Cache KV | Activations, gradients, états de l'optimiseur | Pour l'activer, ajoutez simplement ce qui suit à toutes les exécutions d'entraînement RL / GRPO avant tout import d'Unsloth : ```python import os os.environ["UNSLOTH_VLLM_STANDBY"] = "1" ``` ## 🧪 Expériences de performance Vous trouverez ici comment nous avons benchmarké l'utilisation mémoire et la longueur de contexte pour GRPO. Notez que nous faisons **2 générations par prompt, car pour que GRPO fonctionne**, nous avons besoin d'au moins 2 générations pour calculer la moyenne et la variance de l'échantillon. **Sans 2 générations, l'écart type d'un échantillon est 0**. Cela rend les avantages qui utilisent ceci : (reward - mean)/std **indéfinis**. $$ Z=\frac{r\_i - \mu}{\sqrt{\frac{1}{n}\sum(r\_i-\mu)^2}} \\ Z\_{n=1}=\frac{r\_1 - \mu}{\sqrt{\frac{1}{1}\sum(r\_1-\mu)^2}}=\frac{0}{0}=\text{undefined} $$ Cela signifie que, spécifiquement pour GRPO, une longueur de contexte maximale de 6 144 pour Qwen-3 32B correspond en réalité à 6 144 multiplié par 2 générations, soit une longueur de 12 288. Nous présentons ci-dessous des expériences pour Llama-3.1 8B en LoRA (16 bits) et en QLoRA (4 bits) :.png?alt=media)
| Expériences | Configuration | État | Utilisation de la mémoire GPU | Commentaires |
|---|---|---|---|---|
| S'exécute pendant 40 étapes / 40 minutes | 14.5 GiB (défini par vllm_gpu_util) | Suffisant pour faire tenir un KVCache de 32K avec des blocs de 2 à 4K, ou disons un KVCache de 16K + des blocs de 16K | |
| S'exécute sur 32 étapes en 40 min | 13.8 GiB (défini par…) | À peu près suffisant pour faire tenir un KVCache d'environ 28K avec des blocs de 2 à 4K, ou disons un KVCache de 15K + des blocs de 15K | |
| le modèle se charge mais ne peut pas s'entraîner car même une taille de lot de 1 ne tient pas | OOM | ||
| le modèle se charge mais ne peut pas s'entraîner car même une taille de lot de 1 ne tient pas | OOM | ||
| S'entraîne correctement 28 étapes prennent 39 min | ~15.1GiB | toute entrée légèrement plus longue entraînera une OOM sur Colab | |
| S'entraîne correctement 29 étapes prennent 40 min | 13 GiB mais la plupart du temps autour de 10-11 Go | Avec la même configuration, nous économisons ici 2 GiB, soit 15 % de mémoire. Cela peut être plus élevé pour des séquences plus longues |
