# vLLM 引擎参数 vLLM 引擎参数、标志、选项，用于在 vLLM 上部署模型。
参数示例与使用场景
--gpu-memory-utilization默认 0.9。vLLM 可使用的显存占比。若出现内存不足则降低该值。可以尝试设置为 0.95 或 0.97。
--max-model-len设置最大序列长度。若出现内存不足请减小该值！例如设置 --max-model-len 32768 以仅使用 32K 序列长度。
--quantization使用 fp8 进行动态 float8 量化。与 --kv-cache-dtype fp8 一起使用以启用 float8 KV 缓存。
--kv-cache-dtype使用 fp8 作为 float8 KV 缓存可将内存使用量减少约 50%。
--port默认是 8000。如何访问 vLLM 的本地地址，例如 http://localhost:8000
--api-key可选 - 设置访问模型的密码（或不设置密码）。
--tensor-parallel-size默认是 1。将模型在张量维度上拆分。设置为你使用的 GPU 数量 - 如果有 4 块 GPU 就设为 4；8 块就设为 8。需要有 NCCL，否则可能会很慢。
--pipeline-parallel-size默认是 1。将模型在层维度上拆分。与 --pipeline-parallel-size 一起使用，其中 TP 用于每个节点内部，PP 用于跨多节点设置（将 PP 设为节点数）
--enable-lora启用 LoRA 服务。适用于部署 Unsloth 微调的 LoRA。
--max-loras同时想要部署的 LoRA 数量。设置为 1 表示 1 个 LoRA，或例如 16。它是一个队列，因此 LoRA 可以热插拔。
--max-lora-rank所有 LoRA 的最大秩。可能的选项有 8, 16, 32, 64, 128, 256, 320, 512
--dtype允许 auto, bfloat16, float16 Float8 和其他量化使用不同的标志 - 参见 --quantization
--tokenizer指定分词器路径，例如 unsloth/gpt-oss-20b 如果所部署的模型使用不同的分词器时使用。
--hf-token如需访问受限模型，请添加你的 HuggingFace 令牌
--swap-space默认是 4GB。用于 CPU 卸载。若有显存可减少，显存较低的 GPU 可增加该值。
--seedvLLM 的默认值为 0
--disable-log-stats禁用诸如吞吐量、服务器请求等日志记录。
--enforce-eager禁用编译。加载更快，但推理更慢。
--disable-cascade-attn对于 vLLM < 0.11.0 的强化学习运行很有用，因为 Cascade Attention 在 A100 GPU 上有些小问题（Unsloth 已修复此问题）
### :tada:Float8 量化 例如，要使用 Float8 KV 缓存和量化托管 Llama 3.3 70B Instruct（支持 128K 上下文长度），可以尝试： ```bash vllm serve unsloth/Llama-3.3-70B-Instruct \ --quantization fp8 \ --kv-cache-dtype fp8 --gpu-memory-utilization 0.97 \ --max-model-len 65536 ``` ### :shaved\_ice:LoRA 热插拔 / 动态 LoRA 要启用最多同时热插拔（更换）4 个 LoRA 的 LoRA 服务，首先设置环境标志以允许热插拔： 参见我们的 [LoRA 热切换指南](/docs/zh/ji-chu/inference-and-deployment/vllm-guide/lora-hot-swapping-guide.md) 以获取更多详情。 --- # Agent Instructions: Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter: ``` GET https://unsloth.ai/docs/zh/ji-chu/inference-and-deployment/vllm-guide/vllm-engine-arguments.md?ask= ``` The question should be specific, self-contained, and written in natural language. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.