| 80GB GPU | 推論エンジン（50%） | 学習エンジン（50%） |
|---|---|---|
| モデル重み | 16GB | 16GB |
| KV キャッシュ | 24GB | |
| アクティベーション、勾配、オプティマイザ状態 | 24GB |
多目的
64GB の領域
| KV キャッシュ | アクティベーション、勾配、オプティマイザ状態 | これを有効にするには、Unsloth を import する前に、すべての RL / GRPO 学習実行に以下を追加するだけです： ```python import os os.environ["UNSLOTH_VLLM_STANDBY"] = "1" ``` ## 🧪パフォーマンス実験 ここでは、GRPO のメモリ使用量とコンテキスト長をどのようにベンチマークしたかが分かります。なお、 **プロンプトごとに 2 回生成しています。GRPO を機能させるには**、サンプル平均と分散を計算するために少なくとも 2 回の生成が必要だからです。 **2 回の生成がないと、1 サンプルの標準偏差は 0 になります**. すると、これを使う優位性（advantage）: (reward - mean)/std **が未定義になります**. $$ Z=\frac{r\_i - \mu}{\sqrt{\frac{1}{n}\sum(r\_i-\mu)^2}} \\ Z\_{n=1}=\frac{r\_1 - \mu}{\sqrt{\frac{1}{1}\sum(r\_1-\mu)^2}}=\frac{0}{0}=\text{undefined} $$ つまり、GRPO に限って言えば、Qwen-3 32B の最大コンテキスト長 6,144 は、実際には 2 回生成を掛けた 12,288 の長さに相当します。 以下では、Llama-3.1 8B について LoRA（16bit）と QLoRA（4bit）の両方での実験を示します：| 実験 | 設定 | ステータス | GPU メモリ使用量 | コメント |
|---|---|---|---|---|
| 40 ステップ / 40 分で実行 | 14.5 GiB（vllm_gpu_util による設定） | 2〜4K のチャンク、あるいは 16K KVCache + 16K チャンクのような構成で 32K KVCache を収めるのに十分 | |
| 40 分で 32 ステップ実行 | 13.8 GiB（…による設定） | 約 28K の KVCache を 2〜4K のチャンク、あるいは 15K KVCache + 15K チャンク程度で収めるのに十分 | |
| モデルは読み込めるが、バッチサイズ 1 でも収まらず学習できない | OOM | ||
| モデルは読み込めるが、バッチサイズ 1 でも収まらず学習できない | OOM | ||
| 問題なく学習 28 ステップで 39 分 | 約 15.1GiB | 少しでも長い入力は colab で OOM になる | |
| 問題なく学習 29 ステップで 40 分 | 13GiB だが、ほとんどの時間は 10〜11GB 前後 | 同じ設定で、ここでは 2GiB、つまり 15% のメモリを節約しています。 より長いシーケンスではさらに大きくなる可能性があります |