vLLM 引擎参数
用于在 vLLM 上服务模型的 vLLM 引擎参数、标志和选项。
--gpu-memory-utilization
默认值为 0.9。vLLM 可使用多少 VRAM。若发生内存不足,请降低该值。可尝试设置为 0.95 或 0.97。
--max-model-len
设置最大序列长度。如果发生内存不足,请降低此值!例如设置 --max-model-len 32768 可仅使用 32K 序列长度。
--quantization
使用 fp8 进行动态 float8 量化。请与以下选项配合使用: --kv-cache-dtype fp8 以同时启用 float8 KV 缓存。
--kv-cache-dtype
使用 fp8 用于 float8 KV 缓存,将内存使用量减少 50%。
--port
默认是 8000。如何访问 vLLM 的本地主机,例如 http://localhost:8000
--api-key
可选 - 设置访问模型的密码(或不设置密码)。
--tensor-parallel-size
默认值为 1。将模型按张量拆分。将其设置为你使用的 GPU 数量——如果你有 4 张,就设为 4;有 8 张,就设为 8。你应该安装 NCCL,否则这可能会很慢。
--pipeline-parallel-size
默认值为 1。将模型按层拆分。与以下选项一起使用: --pipeline-parallel-size 其中 TP 用于每个节点内部,PP 用于跨多节点设置(将 PP 设为节点数)
--enable-lora
启用 LoRA 服务。适合为经过 Unsloth 微调的 LoRA 提供服务。
--max-loras
你希望一次提供多少个 LoRA。若只有 1 个 LoRA,就设为 1;或者设为 16。这里是一个队列,因此 LoRA 可以热切换。
--max-lora-rank
所有 LoRA 的最大秩。可选值有 8, 16, 32, 64, 128, 256, 320, 512
--dtype
允许 auto, bfloat16, float16 Float8 和其他量化使用不同的标志 - 见 --quantization
--tokenizer
指定 tokenizer 路径,例如 unsloth/gpt-oss-20b 如果所服务的模型使用不同的 tokenizer。
--hf-token
如果需要,为受限模型添加你的 HuggingFace token
--swap-space
默认值为 4GB。CPU 卸载使用。若你有足够 VRAM 可降低此值,或在低内存 GPU 上提高。
--seed
vLLM 的默认值是 0
--disable-log-stats
禁用吞吐量、服务器请求等日志记录。
--enforce-eager
禁用编译。加载更快,但推理更慢。
--disable-cascade-attn
适用于 vLLM < 0.11.0 的强化学习运行,因为 Cascade Attention 在 A100 GPU 上略有问题(Unsloth 修复了这一点)
🎉Float8 量化
例如,要以 Float8 KV Cache 和量化方式托管 Llama 3.3 70B Instruct(支持 128K 上下文长度),可尝试:
🍧LoRA 热切换 / 动态 LoRA
要启用一次最多提供 4 个 LoRA 的服务(这些会被热切换/更改),首先设置环境标志以允许热切换:
查看我们的 LoRA 热插拔指南 了解更多细节。
最后更新于
这有帮助吗?

