| GPU 80 Go | Moteur d’inférence (50 %) | Moteur d’entraînement (50 %) |
|---|---|---|
| Poids du modèle | 16 Go | 16 Go |
| KV Cache | 24 Go | |
| Activations, gradients, états de l’optimiseur | 24 Go |
Polyvalent
64 Go d’espace
| KV Cache | Activations, gradients, états de l’optimiseur | Pour activer cela, ajoutez simplement ce qui suit à toutes les exécutions d’entraînement RL / GRPO avant toute importation d’Unsloth : ```python import os os.environ["UNSLOTH_VLLM_STANDBY"] = "1" ``` ## 🧪Expériences de performance Vous trouverez ici comment nous avons mesuré la consommation mémoire et la longueur de contexte pour GRPO. Notez que nous **effectuons 2 générations par invite, car pour que GRPO fonctionne**, nous avons besoin d’au moins 2 générations pour calculer la moyenne et la variance de l’échantillon. **Sans 2 générations, l’écart-type d’un échantillon est 0**. Cela rend les avantages qui utilisent ceci : (récompense - moyenne)/écart-type **indéfinis**. $$ Z=\frac{r\_i - \mu}{\sqrt{\frac{1}{n}\sum(r\_i-\mu)^2}} \\ Z\_{n=1}=\frac{r\_1 - \mu}{\sqrt{\frac{1}{1}\sum(r\_1-\mu)^2}}=\frac{0}{0}=\text{undefined} $$ Cela signifie que, spécifiquement pour GRPO, une longueur de contexte maximale de 6 144 pour Qwen-3 32B correspond en réalité à 6 144 multiplié par 2 générations, soit 12 288 en longueur. Nous fournissons ci-dessous des expériences pour Llama-3.1 8B à la fois en LoRA (16 bits) et en QLoRA (4 bits) :| Expériences | Configuration | Statut | Utilisation de la mémoire GPU | Commentaires |
|---|---|---|---|---|
| Fonctionne pendant 40 étapes / 40 minutes | 14,5 Gio (défini par vllm_gpu_util) | Assez pour intégrer un KVCache de 32K avec un bloc de 2 à 4K ou, par exemple, un KVCache de 16K + des blocs de 16K | |
| Fonctionne pendant 32 étapes en 40 min | 13,8 Gio (défini par…) | Suffisant approximativement pour intégrer un KVCache d’environ 28K avec un bloc de 2 à 4K ou, par exemple, un KVCache de 15K + des blocs de 15K | |
| le modèle se charge mais ne peut pas s’entraîner car même un batch size de 1 ne tient pas | OOM | ||
| le modèle se charge mais ne peut pas s’entraîner car même un batch size de 1 ne tient pas | OOM | ||
| S’entraîne correctement 28 étapes prennent 39 min | ~15,1 Gio | toute entrée légèrement plus longue entraînera un OOM sur colab | |
| S’entraîne correctement 29 étapes prennent 40 min | 13 Gio mais la plupart du temps autour de 10 à 11 Go | Avec la même configuration, nous économisons ici 2 Gio, soit 15 % de mémoire. Peut être plus élevé pour des séquences plus longues |