| 80GB GPU | 推論エンジン（50%） | トレーニングエンジン（50%） |
|---|---|---|
| モデル重み | 16GB | 16GB |
| KVキャッシュ | 24GB | |
| 活性化、勾配、オプティマイザ状態 | 24GB |
多目的
64GBの空間
| KVキャッシュ | 活性化、勾配、オプティマイザ状態 | これを有効にするには、任意のUnslothインポートより前に、すべてのRL/GRPOトレーニング実行に以下を追加してください： ```python import os os.environ["UNSLOTH_VLLM_STANDBY"] = "1" ``` ## 🧪パフォーマンス実験 ここではGRPOのメモリ使用量とコンテキスト長をどのようにベンチマークしたかを示します。注意点として私たちは **プロンプトごとに2回の生成を行います。GRPOが機能するためには**サンプルの平均と分散を計算するために最低2回の生成が必要だからです。 **生成が2回ないと、1サンプルの標準偏差は0になります**。これにより、（報酬 - 平均）/ 標準偏差を使用するアドバンテージが **未定義になってしまいます**. $$ Z=\frac{r\_i - \mu}{\sqrt{\frac{1}{n}\sum(r\_i-\mu)^2}} \\ Z\_{n=1}=\frac{r\_1 - \mu}{\sqrt{\frac{1}{1}\sum(r\_1-\mu)^2}}=\frac{0}{0}=\text{undefined} $$ これは特にGRPOにおいて、Qwen-3 32Bの最大コンテキスト長6,144は実質的に2回の生成分、すなわち長さ12,288に相当することを意味します。 以下にLlama-3.1 8BのLoRA（16bit）とQLoRA（4bit）両方の実験を示します：| 実験 | 設定 | ステータス | GPUメモリ使用量 | コメント |
|---|---|---|---|---|
| 40ステップ／40分実行 | 14.5 GiB（vllm_gpu_utilで設定） | 2-4Kチャンクで32KのKVCacheを収める、または16K KVCache + 16Kチャンクを収めるのに十分 | |
| 40分で32ステップ実行 | 13.8 GiB（…で設定） | 約2-4Kチャンクで約28KのKVCache、または15K KVCache + 15Kチャンクを収めるのに十分 | |
| モデルは読み込めるが訓練できない（バッチサイズ1でも収まらない） | OOM | ||
| モデルは読み込めるが訓練できない（バッチサイズ1でも収まらない） | OOM | ||
| 正常にトレーニングされる 28ステップで39分かかる | 約15.1GiB | わずかに長い入力はColab上でOOMを引き起こす | |
| 正常にトレーニングされる 29ステップで40分かかる | 13GiBだが多くの場合10-11GB前後 | 同じ設定でここでは2GiB、すなわち15%のメモリが節約できます。 長いシーケンスではさらに高くなる可能性があります |