vLLM エンジン引数

vLLMでモデルを提供するための、vLLMエンジンの引数、フラグ、オプション。

引数	例とユースケース
--gpu-memory-utilization	デフォルトは0.9。vLLMが使用できるVRAM使用量。メモリ不足になる場合は下げてください。0.95または0.97に設定してみてください。
--max-model-len	最大シーケンス長を設定します。メモリ不足になる場合はこれを下げてください！ たとえば、次のように設定します --max-model-len 32768 32Kのシーケンス長のみを使用します。
--quantization	動的なfloat8量子化にfp8を使用します。これと併せて使用してください --kv-cache-dtype float8 KVキャッシュも有効にするにはfp8を使用します。
--kv-cache-dtype	を使って fp8 float8 KVキャッシュに使用し、メモリ使用量を50%削減します。
--port	デフォルトは8000です。vLLMのlocalhostにアクセスする方法、つまり http://localhost:8000
--api-key	任意 - モデルにアクセスするためのパスワード（またはパスワードなし）を設定します。
--tensor-parallel-size	デフォルトは1です。モデルをテンソルに分割します。使用しているGPUの数に合わせてこれを設定してください。4台あるなら4、8台なら8に設定します。NCCLが必要で、ない場合は遅くなることがあります。
--pipeline-parallel-size	デフォルトは1です。モデルをレイヤーに分割します。これを次と併用してください --pipeline-parallel-size TPは各ノード内で使用され、PPはマルチノード構成全体で使用されます（PPはノード数に設定）
--enable-lora	LoRAの提供を有効にします。UnslothでファインチューニングしたLoRAの提供に便利です。
--max-loras	同時に提供したいLoRAの数。LoRAが1つなら1、あるいは16などに設定します。これはキューなので、LoRAをホットスワップできます。
--max-lora-rank	すべてのLoRAの最大ランク。可能な選択肢は 8, 16, 32, 64, 128, 256, 320, 512
--dtype	許可します auto, bfloat16, float16 Float8などの量子化は別のフラグを使用します - 参照してください --quantization
--tokenizer	次のようにトークナイザのパスを指定します unsloth/gpt-oss-20b 提供するモデルのトークナイザが異なる場合。
--hf-token	制限付きモデルが必要な場合は、HuggingFaceトークンを追加してください
--swap-space	デフォルトは4GBです。CPUオフロード用の使用量です。VRAMに余裕がある場合は減らし、低メモリGPUでは増やしてください。
--seed	vLLMのデフォルトは0です
--disable-log-stats	スループットやサーバーリクエストなどのログ出力を無効にします。
--enforce-eager	コンパイルを無効にします。読み込みは速くなりますが、推論は遅くなります。
--disable-cascade-attn	Cascade AttentionがA100 GPUでやや不安定だったため、vLLM < 0.11.0 の強化学習実行で便利です（Unslothがこれを修正しています）

🎉Float8量子化

たとえば、Float8 KVキャッシュと量子化を使って Llama 3.3 70B Instruct（128Kのコンテキスト長をサポート）をホストするには、次を試してください:

vllm serve unsloth/Llama-3.3-70B-Instruct \
    --quantization fp8 \
    --kv-cache-dtype fp8 \
    --gpu-memory-utilization 0.97 \
    --max-model-len 65536

🍧LoRAのホットスワップ / 動的LoRA

一度に最大 4 つの LoRA を LoRA サービングで有効にするには（これらはホットスワップ／変更されます）、まずホットスワッピングを許可する環境フラグを設定します：

こちらを参照してください LoRA ホットスワッピングガイド 詳細について。