> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/inference-and-deployment/vllm-guide/vllm-engine-arguments.md). # vLLM 引擎参数 用于在 vLLM 上服务模型的 vLLM 引擎参数、标志和选项。
参数示例和使用场景
--gpu-memory-utilization默认值为 0.9。vLLM 可使用多少 VRAM。若发生内存不足，请降低该值。可尝试设置为 0.95 或 0.97。
--max-model-len设置最大序列长度。如果发生内存不足，请降低此值！例如设置 --max-model-len 32768 可仅使用 32K 序列长度。
--quantization使用 fp8 进行动态 float8 量化。请与以下选项配合使用： --kv-cache-dtype fp8 以同时启用 float8 KV 缓存。
--kv-cache-dtype使用 fp8 用于 float8 KV 缓存，将内存使用量减少 50%。
--port默认是 8000。如何访问 vLLM 的本地主机，例如 http://localhost:8000
--api-key可选 - 设置访问模型的密码（或不设置密码）。
--tensor-parallel-size默认值为 1。将模型按张量拆分。将其设置为你使用的 GPU 数量——如果你有 4 张，就设为 4；有 8 张，就设为 8。你应该安装 NCCL，否则这可能会很慢。
--pipeline-parallel-size默认值为 1。将模型按层拆分。与以下选项一起使用： --pipeline-parallel-size 其中 TP 用于每个节点内部，PP 用于跨多节点设置（将 PP 设为节点数）
--enable-lora启用 LoRA 服务。适合为经过 Unsloth 微调的 LoRA 提供服务。
--max-loras你希望一次提供多少个 LoRA。若只有 1 个 LoRA，就设为 1；或者设为 16。这里是一个队列，因此 LoRA 可以热切换。
--max-lora-rank所有 LoRA 的最大秩。可选值有 8, 16, 32, 64, 128, 256, 320, 512
--dtype允许 auto, bfloat16, float16 Float8 和其他量化使用不同的标志 - 见 --quantization
--tokenizer指定 tokenizer 路径，例如 unsloth/gpt-oss-20b 如果所服务的模型使用不同的 tokenizer。
--hf-token如果需要，为受限模型添加你的 HuggingFace token
--swap-space默认值为 4GB。CPU 卸载使用。若你有足够 VRAM 可降低此值，或在低内存 GPU 上提高。
--seedvLLM 的默认值是 0
--disable-log-stats禁用吞吐量、服务器请求等日志记录。
--enforce-eager禁用编译。加载更快，但推理更慢。
--disable-cascade-attn适用于 vLLM < 0.11.0 的强化学习运行，因为 Cascade Attention 在 A100 GPU 上略有问题（Unsloth 修复了这一点）
### :tada:Float8 量化 例如，要以 Float8 KV Cache 和量化方式托管 Llama 3.3 70B Instruct（支持 128K 上下文长度），可尝试： ```bash vllm serve unsloth/Llama-3.3-70B-Instruct \ --quantization fp8 \ --kv-cache-dtype fp8 \\ --gpu-memory-utilization 0.97 \ --max-model-len 65536 ``` ### :shaved\_ice:LoRA 热切换 / 动态 LoRA 要启用一次最多提供 4 个 LoRA 的服务（这些会被热切换/更改），首先设置环境标志以允许热切换： 查看我们的 [LoRA 热插拔指南](/docs/zh/ji-chu-zhi-shi/inference-and-deployment/vllm-guide/lora-hot-swapping-guide.md) 了解更多细节。 --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation by asking a question. Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters: ``` GET https://unsloth.ai/docs/zh/ji-chu-zhi-shi/inference-and-deployment/vllm-guide/vllm-engine-arguments.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.