跳转到内容
For the complete documentation index, see llms.txt. This page is also available as Markdown.

vLLM 引擎参数

用于在 vLLM 上服务模型的 vLLM 引擎参数、标志和选项。

参数
示例和使用场景

--gpu-memory-utilization

默认值为 0.9。vLLM 可使用多少 VRAM。若发生内存不足,请降低该值。可尝试设置为 0.95 或 0.97。

--max-model-len

设置最大序列长度。如果发生内存不足,请降低此值!例如设置 --max-model-len 32768 可仅使用 32K 序列长度。

--quantization

使用 fp8 进行动态 float8 量化。请与以下选项配合使用: --kv-cache-dtype fp8 以同时启用 float8 KV 缓存。

--kv-cache-dtype

使用 fp8 用于 float8 KV 缓存,将内存使用量减少 50%。

--port

默认是 8000。如何访问 vLLM 的本地主机,例如 http://localhost:8000

--api-key

可选 - 设置访问模型的密码(或不设置密码)。

--tensor-parallel-size

默认值为 1。将模型按张量拆分。将其设置为你使用的 GPU 数量——如果你有 4 张,就设为 4;有 8 张,就设为 8。你应该安装 NCCL,否则这可能会很慢。

--pipeline-parallel-size

默认值为 1。将模型按层拆分。与以下选项一起使用: --pipeline-parallel-size 其中 TP 用于每个节点内部,PP 用于跨多节点设置(将 PP 设为节点数)

--enable-lora

启用 LoRA 服务。适合为经过 Unsloth 微调的 LoRA 提供服务。

--max-loras

你希望一次提供多少个 LoRA。若只有 1 个 LoRA,就设为 1;或者设为 16。这里是一个队列,因此 LoRA 可以热切换。

--max-lora-rank

所有 LoRA 的最大秩。可选值有 8, 16, 32, 64, 128, 256, 320, 512

--dtype

允许 auto, bfloat16, float16 Float8 和其他量化使用不同的标志 - 见 --quantization

--tokenizer

指定 tokenizer 路径,例如 unsloth/gpt-oss-20b 如果所服务的模型使用不同的 tokenizer。

--hf-token

如果需要,为受限模型添加你的 HuggingFace token

--swap-space

默认值为 4GB。CPU 卸载使用。若你有足够 VRAM 可降低此值,或在低内存 GPU 上提高。

--seed

vLLM 的默认值是 0

--disable-log-stats

禁用吞吐量、服务器请求等日志记录。

--enforce-eager

禁用编译。加载更快,但推理更慢。

--disable-cascade-attn

适用于 vLLM < 0.11.0 的强化学习运行,因为 Cascade Attention 在 A100 GPU 上略有问题(Unsloth 修复了这一点)

🎉Float8 量化

例如,要以 Float8 KV Cache 和量化方式托管 Llama 3.3 70B Instruct(支持 128K 上下文长度),可尝试:

🍧LoRA 热切换 / 动态 LoRA

要启用一次最多提供 4 个 LoRA 的服务(这些会被热切换/更改),首先设置环境标志以允许热切换:

查看我们的 LoRA 热插拔指南 了解更多细节。

最后更新于

这有帮助吗?