# vLLM エンジン引数 vLLMエンジンの引数、フラグ、モデルをvLLMで提供するためのオプション。
引数例とユースケース
--gpu-memory-utilizationデフォルトは0.9。vLLMが使用できるVRAM使用率。メモリ不足が発生する場合は減らしてください。0.95や0.97に設定してみてください。
--max-model-len最大シーケンス長を設定します。メモリ不足が発生する場合はこれを減らしてください！例えば、次のように設定します --max-model-len 32768 は32Kのシーケンス長のみを使用するための設定です。
--quantization動的なfloat8量子化にfp8を使用します。これをと併用してください --kv-cache-dtype fp8はfloat8のKVキャッシュも有効にします。
--kv-cache-dtype使用する fp8 はメモリ使用量を50%削減するfloat8のKVキャッシュ用です。
--portデフォルトは8000。vLLMのローカルホストへのアクセス方法例: http://localhost:8000
--api-keyオプション - モデルにアクセスするためのパスワード（またはパスワードなし）を設定します。
--tensor-parallel-sizeデフォルトは1。テンソル単位でモデルを分割します。使用しているGPUの数に合わせて設定してください — 例えば4台なら4に、8台なら8に設定します。NCCLが必要で、ないと遅くなる可能性があります。
--pipeline-parallel-sizeデフォルトは1。レイヤー単位でモデルを分割します。と併用してください --pipeline-parallel-size ここでTPは各ノード内で使われ、PPはマルチノード構成で使われます（PPはノード数に設定してください）
--enable-loraLoRA提供を有効にします。UnslothでファインチューニングされたLoRAの提供に便利です。
--max-loras同時に提供したいLoRAの数。1つなら1に、例えば16なら16に設定します。これはキューなのでLoRAをホットスワップできます。
--max-lora-rankすべてのLoRAの最大ランク。選択肢は次のとおりです 8, 16, 32, 64, 128, 256, 320, 512
--dtypeを許可します auto, bfloat16, float16 Float8やその他の量子化は別のフラグを使用します — 詳細はご覧ください --quantization
--tokenizerトークナイザーのパスを指定します（例） unsloth/gpt-oss-20b 提供するモデルが異なるトークナイザーを持っている場合に使用します。
--hf-tokenゲート付きモデル用に必要ならHuggingFaceトークンを追加します
--swap-spaceデフォルトは4GB。CPUオフローディングの使用量。VRAMがある場合は減らし、メモリの少ないGPUでは増やしてください。
--seedvLLMのデフォルトは0です
--disable-log-statsスループットやサーバーリクエストなどのログ記録を無効にします。
--enforce-eagerコンパイルを無効にします。ロードは速くなりますが推論は遅くなります。
--disable-cascade-attnvLLM < 0.11.0 の強化学習実行に有用です。Cascade AttentionはA100 GPUでやや不安定でした（Unslothがこれを修正します）
### :tada:Float8量子化 例えば、Float8のKVキャッシュと量子化を使ってLlama 3.3 70B Instruct（128Kのコンテキスト長をサポート）をホストするには、次を試してください： ```bash vllm serve unsloth/Llama-3.3-70B-Instruct \ --quantization fp8 \ --kv-cache-dtype fp8 --gpu-memory-utilization 0.97 \ --max-model-len 65536 ``` ### :shaved\_ice:LoRAのホットスワップ / 動的LoRA 同時に最大4つの LoRA をホットスワップ（切り替え）できるようにするには、まずホットスワップを許可する環境フラグを設定します： 私たちのドキュメントをご覧ください [lora-hot-swapping-guide](https://unsloth.ai/docs/jp/ji-ben/inference-and-deployment/vllm-guide/lora-hot-swapping-guide "mention") で詳細を確認できます。 --- # Agent Instructions: Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter: ``` GET https://unsloth.ai/docs/jp/ji-ben/inference-and-deployment/vllm-guide/vllm-engine-arguments.md?ask= ``` The question should be specific, self-contained, and written in natural language. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.