コンテンツへスキップ
For the complete documentation index, see llms.txt. This page is also available as Markdown.

vLLMエンジン引数

vLLM 上でモデルを提供するための vLLM エンジンの引数、フラグ、オプション。

引数
例とユースケース

--gpu-memory-utilization

デフォルトは 0.9。vLLM が使用できる VRAM 使用量。メモリ不足になる場合は減らしてください。0.95 または 0.97 に設定してみてください。

--max-model-len

最大シーケンス長を設定します。メモリ不足になる場合はこれを減らしてください! 例えば、 --max-model-len 32768 とすると、32K のシーケンス長のみを使用します。

--quantization

動的 float8 量子化には fp8 を使用します。これを --kv-cache-dtype と併用して、float8 KV キャッシュも有効にします。

--kv-cache-dtype

次を使います: fp8 を使用すると、float8 KV キャッシュによりメモリ使用量を 50% 削減できます。

--port

デフォルトは 8000 です。vLLM の localhost にアクセスする方法、つまり http://localhost:8000

--api-key

任意 - モデルにアクセスするためのパスワード(またはパスワードなし)を設定します。

--tensor-parallel-size

デフォルトは 1 です。モデルをテンソル間で分割します。使用している GPU の数に合わせて設定してください。4 台あるなら 4、8 台なら 8 です。NCCL が必要です。そうでない場合、遅くなることがあります。

--pipeline-parallel-size

デフォルトは 1 です。モデルをレイヤー間で分割します。これを --pipeline-parallel-size と併用します。TP は各ノード内で使用され、PP は複数ノード構成全体で使用されます(PP はノード数に設定します)

--enable-lora

LoRA の提供を有効にします。Unsloth でファインチューニングされた LoRA の提供に便利です。

--max-loras

一度に提供したい LoRA の数です。1 つなら 1、あるいは 16 などに設定します。これはキューなので、LoRA をホットスワップできます。

--max-lora-rank

すべての LoRA の最大ランク。選択可能な値は 8, 16, 32, 64, 128, 256, 320, 512

--dtype

を許可します auto, bfloat16, float16 Float8 やその他の量子化には別のフラグを使用します - こちらを参照 --quantization

--tokenizer

次のようにトークナイザーのパスを指定します unsloth/gpt-oss-20b 提供するモデルのトークナイザーが異なる場合。

--hf-token

ガード付きモデルが必要な場合は、HuggingFace トークンを追加してください

--swap-space

デフォルトは 4GB です。CPU オフロード用の領域です。VRAM に余裕がある場合は減らし、低メモリ GPU では増やしてください。

--seed

vLLM のデフォルトは 0 です

--disable-log-stats

スループットやサーバーリクエストなどのログ記録を無効にします。

--enforce-eager

コンパイルを無効にします。読み込みは速くなりますが、推論は遅くなります。

--disable-cascade-attn

vLLM < 0.11.0 の強化学習実行では有用です。Cascade Attention は A100 GPU で少し不安定だったためです(Unsloth がこれを修正します)

🎉Float8 量子化

たとえば、Llama 3.3 70B Instruct(128K のコンテキスト長をサポート)を Float8 KV キャッシュと量子化でホストするには、次を試してください:

🍧LoRA のホットスワップ / 動的 LoRA

一度に最大 4 つの LoRA の LoRA サービスを有効にするには(これらはホットスワップ/変更されます)、まずホットスワッピングを許可するための環境フラグを設定します:

こちらをご覧ください LoRAホットスワップガイド を参照してください。

最終更新

役に立ちましたか?