> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/jp/ji-ben/inference-and-deployment/vllm-guide/vllm-engine-arguments.md). # vLLM エンジン引数 vLLMでモデルを提供するための、vLLMエンジンの引数、フラグ、オプション。
引数例とユースケース
--gpu-memory-utilizationデフォルトは0.9。vLLMが使用できるVRAM使用量。メモリ不足になる場合は下げてください。0.95または0.97に設定してみてください。
--max-model-len最大シーケンス長を設定します。メモリ不足になる場合はこれを下げてください！ たとえば、次のように設定します --max-model-len 32768 32Kのシーケンス長のみを使用します。
--quantization動的なfloat8量子化にfp8を使用します。これと併せて使用してください --kv-cache-dtype float8 KVキャッシュも有効にするにはfp8を使用します。
--kv-cache-dtypeを使って fp8 float8 KVキャッシュに使用し、メモリ使用量を50%削減します。
--portデフォルトは8000です。vLLMのlocalhostにアクセスする方法、つまり http://localhost:8000
--api-key任意 - モデルにアクセスするためのパスワード（またはパスワードなし）を設定します。
--tensor-parallel-sizeデフォルトは1です。モデルをテンソルに分割します。使用しているGPUの数に合わせてこれを設定してください。4台あるなら4、8台なら8に設定します。NCCLが必要で、ない場合は遅くなることがあります。
--pipeline-parallel-sizeデフォルトは1です。モデルをレイヤーに分割します。これを次と併用してください --pipeline-parallel-size TPは各ノード内で使用され、PPはマルチノード構成全体で使用されます（PPはノード数に設定）
--enable-loraLoRAの提供を有効にします。UnslothでファインチューニングしたLoRAの提供に便利です。
--max-loras同時に提供したいLoRAの数。LoRAが1つなら1、あるいは16などに設定します。これはキューなので、LoRAをホットスワップできます。
--max-lora-rankすべてのLoRAの最大ランク。可能な選択肢は 8, 16, 32, 64, 128, 256, 320, 512
--dtype許可します auto, bfloat16, float16 Float8などの量子化は別のフラグを使用します - 参照してください --quantization
--tokenizer次のようにトークナイザのパスを指定します unsloth/gpt-oss-20b 提供するモデルのトークナイザが異なる場合。
--hf-token制限付きモデルが必要な場合は、HuggingFaceトークンを追加してください
--swap-spaceデフォルトは4GBです。CPUオフロード用の使用量です。VRAMに余裕がある場合は減らし、低メモリGPUでは増やしてください。
--seedvLLMのデフォルトは0です
--disable-log-statsスループットやサーバーリクエストなどのログ出力を無効にします。
--enforce-eagerコンパイルを無効にします。読み込みは速くなりますが、推論は遅くなります。
--disable-cascade-attnCascade AttentionがA100 GPUでやや不安定だったため、vLLM < 0.11.0 の強化学習実行で便利です（Unslothがこれを修正しています）
### :tada:Float8量子化 たとえば、Float8 KVキャッシュと量子化を使って Llama 3.3 70B Instruct（128Kのコンテキスト長をサポート）をホストするには、次を試してください: ```bash vllm serve unsloth/Llama-3.3-70B-Instruct \ --quantization fp8 \ --kv-cache-dtype fp8 \ --gpu-memory-utilization 0.97 \ --max-model-len 65536 ``` ### :shaved\_ice:LoRAのホットスワップ / 動的LoRA 一度に最大 4 つの LoRA を LoRA サービングで有効にするには（これらはホットスワップ／変更されます）、まずホットスワッピングを許可する環境フラグを設定します： こちらを参照してください [LoRAホットスワッピングガイド](/docs/jp/ji-ben/inference-and-deployment/vllm-guide/lora-hot-swapping-guide.md) 詳細について。 --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter: ``` GET https://unsloth.ai/docs/jp/ji-ben/inference-and-deployment/vllm-guide/vllm-engine-arguments.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.