vLLMエンジン引数
vLLM 上でモデルを提供するための vLLM エンジンの引数、フラグ、オプション。
--gpu-memory-utilization
デフォルトは 0.9。vLLM が使用できる VRAM 使用量。メモリ不足になる場合は減らしてください。0.95 または 0.97 に設定してみてください。
--max-model-len
最大シーケンス長を設定します。メモリ不足になる場合はこれを減らしてください! 例えば、 --max-model-len 32768 とすると、32K のシーケンス長のみを使用します。
--quantization
動的 float8 量子化には fp8 を使用します。これを --kv-cache-dtype と併用して、float8 KV キャッシュも有効にします。
--kv-cache-dtype
次を使います: fp8 を使用すると、float8 KV キャッシュによりメモリ使用量を 50% 削減できます。
--port
デフォルトは 8000 です。vLLM の localhost にアクセスする方法、つまり http://localhost:8000
--api-key
任意 - モデルにアクセスするためのパスワード(またはパスワードなし)を設定します。
--tensor-parallel-size
デフォルトは 1 です。モデルをテンソル間で分割します。使用している GPU の数に合わせて設定してください。4 台あるなら 4、8 台なら 8 です。NCCL が必要です。そうでない場合、遅くなることがあります。
--pipeline-parallel-size
デフォルトは 1 です。モデルをレイヤー間で分割します。これを --pipeline-parallel-size と併用します。TP は各ノード内で使用され、PP は複数ノード構成全体で使用されます(PP はノード数に設定します)
--enable-lora
LoRA の提供を有効にします。Unsloth でファインチューニングされた LoRA の提供に便利です。
--max-loras
一度に提供したい LoRA の数です。1 つなら 1、あるいは 16 などに設定します。これはキューなので、LoRA をホットスワップできます。
--max-lora-rank
すべての LoRA の最大ランク。選択可能な値は 8, 16, 32, 64, 128, 256, 320, 512
--dtype
を許可します auto, bfloat16, float16 Float8 やその他の量子化には別のフラグを使用します - こちらを参照 --quantization
--tokenizer
次のようにトークナイザーのパスを指定します unsloth/gpt-oss-20b 提供するモデルのトークナイザーが異なる場合。
--hf-token
ガード付きモデルが必要な場合は、HuggingFace トークンを追加してください
--swap-space
デフォルトは 4GB です。CPU オフロード用の領域です。VRAM に余裕がある場合は減らし、低メモリ GPU では増やしてください。
--seed
vLLM のデフォルトは 0 です
--disable-log-stats
スループットやサーバーリクエストなどのログ記録を無効にします。
--enforce-eager
コンパイルを無効にします。読み込みは速くなりますが、推論は遅くなります。
--disable-cascade-attn
vLLM < 0.11.0 の強化学習実行では有用です。Cascade Attention は A100 GPU で少し不安定だったためです(Unsloth がこれを修正します)
🎉Float8 量子化
たとえば、Llama 3.3 70B Instruct(128K のコンテキスト長をサポート)を Float8 KV キャッシュと量子化でホストするには、次を試してください:
🍧LoRA のホットスワップ / 動的 LoRA
一度に最大 4 つの LoRA の LoRA サービスを有効にするには(これらはホットスワップ/変更されます)、まずホットスワッピングを許可するための環境フラグを設定します:
こちらをご覧ください LoRAホットスワップガイド を参照してください。
最終更新
役に立ちましたか?

