将 vLLM 连接到 Unsloth 以进行本地聊天推理

了解如何连接 vLLM 到 Unsloth 使用 vLLM 的 兼容 OpenAI 的 API 这样你就可以在一个开源 UI 聊天界面中本地托管模型并与之聊天。本指南将带你完成安装 vLLM、启动本地 vLLM 服务器、配置 API 基础 URL、加载可用的模型 ID，以及选择你托管的 vLLM 模型。

到最后，你通过 vLLM 提供服务的模型将与本地模型一起显示，让你能够以一种快速且灵活的方式在 UI 聊天界面中运行外部 LLM 推理。

设置

1

安装 vLLM

先安装 vLLM，这样你就可以运行 vllm serve 命令。请按照官方 vLLM 安装指南 为你的平台和硬件进行安装。

安装后，请在终端中检查 vLLM 是否可用： vllm --help

2

选择一个模型

vLLM 从 Hugging Face 提供模型服务。

例如，使用一个 Unsloth 模型启动 vLLM 服务器：

vllm serve unsloth/gemma-4-26B-A4B-it 
\ --dtype auto

这会在以下地址公开一个 API 端点：

http://localhost:8000/v1

如需要求 API 密钥，请添加：

--api-key token-abc123

3

将 vLLM 连接到 Unsloth

打开 设置 → 连接，然后点击 添加连接.

选择 vLLM，然后输入你的服务器详细信息。

输入你的 vLLM 服务器详细信息：

• API 密钥： 除非你使用 --api-key 启动了 vLLM，否则留空

• 基础 URL： 例如，http://localhost:8000/v1

• 推理模型： 如果提供的模型支持思考功能，请启用此项

• 模型 ID： 点击 加载模型，或手动输入自定义 ID

点击 添加连接后，你启用的模型将显示在 连接 下选择一个 OpenRouter 模型。

4

准备聊天

保存连接后，你的 vLLM 模型将显示在 已连接 的模型下拉菜单中。选择它即可通过你的 vLLM 服务器开始聊天。

如果你的 vLLM 服务器响应较慢（尤其是在模型加载期间），你可以调整超时：

AIOHTTP_CLIENT_TIMEOUT_MODEL_LIST=30

常见的 vLLM 参数

上面的示例使用了核心服务设置。你可以根据模型和硬件添加更多 vllm serve 参数。

常见选项包括：

vllm serve unsloth/gemma-4-26B-A4B-it \
  --dtype auto \
  --host 0.0.0.0 \
  --port 8000 \
  --api-key token-abc123 \
  --max-model-len 8192 \
  --gpu-memory-utilization 0.9

如需查看完整的 vLLM 服务器参数列表，请参阅官方 vLLM 兼容 OpenAI 的服务器 文档。