如何使用 OpenCode 运行本地 AI 模型

关于如何在你的本地设备上使用 OpenCode 连接开源 LLM 的指南。

本指南将带你完成连接 OpenCode Desktop 到 Unsloth 以运行开源 LLM 完全在本地。 OpenCode 是一个 开源 AI 编码代理 它会使用连接的模型读取、修改并执行你项目中的代码。 这适用于任何通过 Unsloth 的 本地模型 暴露的 兼容 OpenAI 的 API，包括：DeepSeek、Qwen、Gemma 等。OpenCode 充当客户端，而 Unsloth 通过本地 API 加载并提供模型。

完成设置后，OpenCode 会连接到 Unsloth，在那里你可以选择一个已加载的模型并将其用作 编码代理.

OpenCode 设置快速入门

在本教程中，我们将使用 unsloth/Qwen3.6-27B-GGUF 在 Unsloth 中加载，并直接在 OpenCode 内访问它。想用别的模型？只需在 Unsloth 中加载其他模型即可替换。

安装 OpenCode Desktop

Windows

MacOS

Linux/WSL

安装 Unsloth

⚡ 快速入门

安装 OpenCode 后，我们需要安装 Unsloth Studio，以便让 OpenCode 能够提供并运行本地模型推理。

1. 安装或更新 Unsloth Studio。 较早版本不会暴露外部 API。请参见安装。

2. 启动 Unsloth。 注意它启动的端口通常是 8000 或 8888。你会在终端输出和浏览器 URL（http://localhost:PORT).

3. 加载一个模型。 点击 New Chat，选择或搜索一个模型（GGUF），并等待它加载完成。

4. 创建一个 API 密钥。 在 Unsloth 中，点击你的 Unsloth 左下角头像 → 设置 → API → 输入密钥名称 → 创建。复制 sk-unsloth-… 出现的值。Unsloth 只会显示一次。

5. 将你的客户端指向 Unsloth。 使用 http://localhost:PORT 作为基础 URL，以及你的 sk-unsloth-… 密钥进行身份验证。请跳到下面对应工具的配置说明。

🔑 创建 API 密钥

1. 打开侧边栏，点击你的 Unsloth 左下角头像。

2. 前往 设置 → API.

3. 输入一个友好的名称（例如 claude-code-macbook).

4. （可选） 设置到期时间。

5. 点击 创建.

6. 立即复制密钥。 Unsloth 只会存储哈希值，你将无法再次查看它。

所有密钥都以 sk-unsloth- 前缀开头。你可以随时在同一页面撤销某个密钥。使用已撤销密钥发出的请求将失败并返回 401 未授权.

请像对待密码一样对待你的 API 密钥。任何持有该密钥并能访问你的 Unsloth 实例网络的人，都可以向你已加载的模型发送请求。

🖇️ 将 Unsloth 连接到 OpenCode Desktop

Opencode 支持任何兼容 OpenAI 的提供商，因此你可以将 Unsloth 作为一个 自定义 提供商接入。该设置是在 opencode 的 连接提供商 对话框中一次性完成的。

1. 打开提供商选择器。 在 opencode 中，输入 /model （或者点击输入框底部的模型选择器）。

然后点击 连接提供商 选择模型对话框右上角的。

2. 选择“自定义”。 在提供商列表中，滚动到 其他 并选择 自定义.

3. 填写自定义提供商表单：

字段	值
提供商 ID	unsloth-studio （小写，允许连字符）
显示名称	Unsloth Studio
基础 URL	http://localhost:8888/v1/ （将 8888 替换为你的 Unsloth 端口；保留结尾的 /v1/)
API 密钥	你的 sk-unsloth-… 密钥

在 模型 部分中，为你想要暴露的每个模型添加一行。左侧字段是 Unsloth 提供的模型 ID；右侧字段是 opencode 将显示的内容：

模型 ID（左侧）	显示名称（右侧）
unsloth/Qwen3.6-27B-GGUF （Studio 中显示的模型准确名称）	unsloth/Qwen3.6-27B-GGUF （在 opencode 中显示）

保持 Headers 为空，除非你通过需要自定义请求头的认证层代理 Unsloth。

4. 点击提交。 你应该会看到一个 "Unsloth Studio 已连接。Unsloth 模型现已可用" 提示。

添加提供商后重启 opencode。 新提供商只有在重启后才可选择。

5. 选择你的 Unsloth 模型。 opencode 重启后，输入 /model，搜索 unsloth，并选择位于 Unsloth Studio 组下的模型。它将在你的下一条消息中生效。

Unsloth 同时支持 OpenAI 和 Anthropic 的 Python SDK。

可选：配置服务器访问

unsloth run 会启动本地 API 服务器并加载一个模型供 OpenCode 连接。你也可以在启动时自定义服务器的行为。

# 在 8888 端口运行 API
unsloth run \\
  --model unsloth/gemma-4-26B-A4B-it-GGUF \\
  -p 8888

使用 -p 以更改服务器运行的端口。

# 允许你网络上的其他设备连接
unsloth run \\
  --model unsloth/gemma-4-26B-A4B-it-GGUF \\
  -H 0.0.0.0 \\
  -p 8888

这会在 0.0.0.0:8888上启动服务器，允许你本地网络上的其他设备连接。

有关更高级的运行时配置，请参见主 API 调优 部分。