| 80GB GPU | 推論エンジン（50%） | 学習エンジン（50%） |
|---|---|---|
| モデルの重み | 16GB | 16GB |
| KVキャッシュ | 24GB | |
| 活性化、勾配、最適化状態 | 24GB |
多目的
64GBの空き領域
| KVキャッシュ | 活性化、勾配、最適化状態 | これを有効にするには、いずれかのUnslothインポートの前に、すべてのRL / GRPO学習実行に以下を追加するだけです: ```python import os os.environ["UNSLOTH_VLLM_STANDBY"] = "1" ``` ## 🧪性能実験 ここではGRPOのメモリ使用量とコンテキスト長をどのようにベンチマークしたかを紹介します。なお、私たちは **プロンプトごとに2回生成しています。GRPOが動作するには**、サンプル平均と分散を計算するために少なくとも2回の生成が必要だからです。 **2回の生成がなければ、1サンプルの標準偏差は0です**。そのため、これを使う優位度:（報酬 - 平均）/標準偏差 **は未定義になります**. $$ Z=\frac{r\_i - \mu}{\sqrt{\frac{1}{n}\sum(r\_i-\mu)^2}} \\ Z\_{n=1}=\frac{r\_1 - \mu}{\sqrt{\frac{1}{1}\sum(r\_1-\mu)^2}}=\frac{0}{0}=\text{undefined} $$ つまり、GRPOに限れば、Qwen-3 32Bの最大コンテキスト長6,144は、実際には6,144×2生成、つまり長さ12,288に相当します。 以下では、Llama-3.1 8Bについて、LoRA（16bit）とQLoRA（4bit）の両方の実験を示します:.png?alt=media)
| 実験 | 設定 | 状態 | GPUメモリ使用量 | コメント |
|---|---|---|---|---|
| 40ステップ/40分間実行 | 14.5 GiB（vllm_gpu_utilで設定） | 2～4Kのチャンクで32KのKVキャッシュを収められる十分な容量、あるいは16KのKVキャッシュ＋16Kチャンクなど | |
| 40分で32ステップ実行 | 13.8 GiB（…で設定） | およそ2～4Kのチャンクで約28KのKVキャッシュを収められる十分な容量、あるいは15KのKVキャッシュ＋15Kチャンクなど | |
| モデルは読み込めるが、バッチサイズ1でも収まらないため学習できない | OOM | ||
| モデルは読み込めるが、バッチサイズ1でも収まらないため学習できない | OOM | ||
| 問題なく学習する 28ステップに39分かかる | 約15.1GiB | これより少し長い入力はColabでOOMになります | |
| 問題なく学習する 29ステップに40分かかる | 13GiBだが、ほとんどの時間は10-11GB程度 | 同じ設定で、ここでは2GiB、つまり15%のメモリを節約しています。 より長いシーケンスではさらに高くなる可能性があります |
