> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/jp/ji-chu/inference-and-deployment/vllm-guide/vllm-engine-arguments.md). # vLLMエンジン引数 vLLM 上でモデルを提供するための vLLM エンジンの引数、フラグ、オプション。
引数例とユースケース
--gpu-memory-utilizationデフォルトは 0.9。vLLM が使用できる VRAM 使用量。メモリ不足になる場合は減らしてください。0.95 または 0.97 に設定してみてください。
--max-model-len最大シーケンス長を設定します。メモリ不足になる場合はこれを減らしてください！ 例えば、 --max-model-len 32768 とすると、32K のシーケンス長のみを使用します。
--quantization動的 float8 量子化には fp8 を使用します。これを --kv-cache-dtype と併用して、float8 KV キャッシュも有効にします。
--kv-cache-dtype次を使います: fp8 を使用すると、float8 KV キャッシュによりメモリ使用量を 50% 削減できます。
--portデフォルトは 8000 です。vLLM の localhost にアクセスする方法、つまり http://localhost:8000
--api-key任意 - モデルにアクセスするためのパスワード（またはパスワードなし）を設定します。
--tensor-parallel-sizeデフォルトは 1 です。モデルをテンソル間で分割します。使用している GPU の数に合わせて設定してください。4 台あるなら 4、8 台なら 8 です。NCCL が必要です。そうでない場合、遅くなることがあります。
--pipeline-parallel-sizeデフォルトは 1 です。モデルをレイヤー間で分割します。これを --pipeline-parallel-size と併用します。TP は各ノード内で使用され、PP は複数ノード構成全体で使用されます（PP はノード数に設定します）
--enable-loraLoRA の提供を有効にします。Unsloth でファインチューニングされた LoRA の提供に便利です。
--max-loras一度に提供したい LoRA の数です。1 つなら 1、あるいは 16 などに設定します。これはキューなので、LoRA をホットスワップできます。
--max-lora-rankすべての LoRA の最大ランク。選択可能な値は 8, 16, 32, 64, 128, 256, 320, 512
--dtypeを許可します auto, bfloat16, float16 Float8 やその他の量子化には別のフラグを使用します - こちらを参照 --quantization
--tokenizer次のようにトークナイザーのパスを指定します unsloth/gpt-oss-20b 提供するモデルのトークナイザーが異なる場合。
--hf-tokenガード付きモデルが必要な場合は、HuggingFace トークンを追加してください
--swap-spaceデフォルトは 4GB です。CPU オフロード用の領域です。VRAM に余裕がある場合は減らし、低メモリ GPU では増やしてください。
--seedvLLM のデフォルトは 0 です
--disable-log-statsスループットやサーバーリクエストなどのログ記録を無効にします。
--enforce-eagerコンパイルを無効にします。読み込みは速くなりますが、推論は遅くなります。
--disable-cascade-attnvLLM < 0.11.0 の強化学習実行では有用です。Cascade Attention は A100 GPU で少し不安定だったためです（Unsloth がこれを修正します）
### :tada:Float8 量子化 たとえば、Llama 3.3 70B Instruct（128K のコンテキスト長をサポート）を Float8 KV キャッシュと量子化でホストするには、次を試してください： ```bash vllm serve unsloth/Llama-3.3-70B-Instruct \ --quantization fp8 \ --kv-cache-dtype fp8 \\ --gpu-memory-utilization 0.97 \ --max-model-len 65536 ``` ### :shaved\_ice:LoRA のホットスワップ / 動的 LoRA 一度に最大 4 つの LoRA の LoRA サービスを有効にするには（これらはホットスワップ／変更されます）、まずホットスワッピングを許可するための環境フラグを設定します: こちらをご覧ください [LoRAホットスワップガイド](/docs/jp/ji-chu/inference-and-deployment/vllm-guide/lora-hot-swapping-guide.md) を参照してください。 --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation by asking a question. Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters: ``` GET https://unsloth.ai/docs/jp/ji-chu/inference-and-deployment/vllm-guide/vllm-engine-arguments.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.