# vLLMエンジン引数 vLLMエンジンの引数、フラグ、モデルをvLLMで提供するためのオプション。
引数例とユースケース
--gpu-memory-utilizationデフォルトは0.9。vLLMが使用できるVRAM使用率。メモリ不足が発生する場合は減らしてください。0.95や0.97に設定してみてください。
--max-model-len最大シーケンス長を設定します。メモリ不足が発生する場合はこれを減らしてください！例えば、次のように設定します --max-model-len 32768 は32Kのシーケンス長のみを使用するための設定です。
--quantization動的なfloat8量子化にfp8を使用します。これをと併用してください --kv-cache-dtype fp8はfloat8のKVキャッシュも有効にします。
--kv-cache-dtype使用する fp8 はメモリ使用量を50%削減するfloat8のKVキャッシュ用です。
--portデフォルトは8000。vLLMのローカルホストへのアクセス方法例: http://localhost:8000
--api-keyオプション - モデルにアクセスするためのパスワード（またはパスワードなし）を設定します。
--tensor-parallel-sizeデフォルトは1。テンソル単位でモデルを分割します。使用しているGPUの数に合わせて設定してください — 例えば4台なら4に、8台なら8に設定します。NCCLが必要で、ないと遅くなる可能性があります。
--pipeline-parallel-sizeデフォルトは1。レイヤー単位でモデルを分割します。と併用してください --pipeline-parallel-size ここでTPは各ノード内で使われ、PPはマルチノード構成で使われます（PPはノード数に設定してください）
--enable-loraLoRA提供を有効にします。UnslothでファインチューニングされたLoRAの提供に便利です。
--max-loras同時に提供したいLoRAの数。1つなら1に、例えば16なら16に設定します。これはキューなのでLoRAをホットスワップできます。
--max-lora-rankすべてのLoRAの最大ランク。選択肢は次のとおりです 8, 16, 32, 64, 128, 256, 320, 512
--dtypeを許可します auto, bfloat16, float16 Float8やその他の量子化は別のフラグを使用します — 詳細はご覧ください --quantization
--tokenizerトークナイザーのパスを指定します（例） unsloth/gpt-oss-20b 提供するモデルが異なるトークナイザーを持っている場合に使用します。
--hf-tokenゲート付きモデル用に必要ならHuggingFaceトークンを追加します
--swap-spaceデフォルトは4GB。CPUオフローディングの使用量。VRAMがある場合は減らし、メモリの少ないGPUでは増やしてください。
--seedvLLMのデフォルトは0です
--disable-log-statsスループットやサーバーリクエストなどのログ記録を無効にします。
--enforce-eagerコンパイルを無効にします。ロードは速くなりますが推論は遅くなります。
--disable-cascade-attnvLLM < 0.11.0 の強化学習実行に有用です。Cascade AttentionはA100 GPUでやや不安定でした（Unslothがこれを修正します）
### :tada:Float8量子化 例えば、Float8のKVキャッシュと量子化を使ってLlama 3.3 70B Instruct（128Kのコンテキスト長をサポート）をホストするには、次を試してください： ```bash vllm serve unsloth/Llama-3.3-70B-Instruct \ --quantization fp8 \ --kv-cache-dtype fp8 --gpu-memory-utilization 0.97 \ --max-model-len 65536 ``` ### :shaved\_ice:LoRAのホットスワップ / 動的LoRA 同時に最大4つの LoRA をホットスワップ（切り替え）できるようにするには、まずホットスワップを許可する環境フラグを設定します： 私たちのドキュメントをご覧ください [lora-hot-swapping-guide](https://unsloth.ai/docs/jp/ji-ben/inference-and-deployment/vllm-guide/lora-hot-swapping-guide "mention") で詳細を確認できます。