将 vLLM 连接到 Unsloth，用于本地聊天推理

了解如何连接 vLLM 连接到 Unsloth 使用 vLLM 的 兼容 OpenAI 的 API 这样你就可以在一个开源 UI 聊天界面中本地提供模型服务并与它们聊天。本指南将带你安装 vLLM、启动本地 vLLM 服务器、配置 API 基础 URL、加载可用的模型 ID，并选择你托管的 vLLM 模型。

到最后，你通过 vLLM 提供服务的模型将与本地模型一起显示，让你能够以快速且灵活的方式在 UI 聊天界面中运行外部 LLM 推理。

设置

1

安装 vLLM

先安装 vLLM，这样你就可以运行 vllm serve 命令。请根据你的平台和硬件，按照官方 vLLM 安装指南 进行操作。

安装完成后，请检查 vLLM 是否能在你的终端中正常工作： vllm --help

2

选择模型

vLLM 从 Hugging Face 提供模型服务。

例如，使用 Unsloth 模型启动一个 vLLM 服务器：

vllm serve unsloth/gemma-4-26B-A4B-it 
\ --dtype auto

这会在以下地址暴露一个 API 端点：

http://localhost:8000/v1

若要要求 API 密钥，请添加：

--api-key token-abc123

3

将 vLLM 连接到 Unsloth

打开 设置 → 连接，然后点击 添加连接.

选择 vLLM，然后输入你的服务器详细信息。

输入你的 vLLM 服务器详细信息：

• API 密钥： 除非你使用 --api-key 启动了 vLLM，否则留空

• 基础 URL： 例如，http://localhost:8000/v1

• 推理模型： 如果所服务的模型支持思考，请启用此项

• 模型 ID： 点击 加载模型，或手动输入自定义 ID

点击后 添加连接，你启用的模型将显示在 连接 模型下拉菜单中。

4

准备聊天

保存连接后，你的 vLLM 模型将显示在 已连接 模型下拉菜单中。选择它即可通过你的 vLLM 服务器开始聊天。

如果你的 vLLM 服务器响应较慢（尤其是在模型加载期间），你可以调整超时时间：

AIOHTTP_CLIENT_TIMEOUT_MODEL_LIST=30

常见的 vLLM 参数

上面的示例使用了核心服务设置。你可以根据你的模型和硬件添加更多 vllm serve 参数。

常见选项包括：

vllm serve unsloth/gemma-4-26B-A4B-it \
  --dtype auto \
  --host 0.0.0.0 \\
  --port 8000 \
  --api-key token-abc123 \
  --max-model-len 8192 \
  --gpu-memory-utilization 0.9

有关 vLLM 服务器参数的完整列表，请参阅官方 vLLM OpenAI 兼容服务器 文档。