如何使用 OpenClaw 运行本地 AI 模型

使用 OpenClaw 运行本地 LLM 的指南。

本指南将帮助你在本地使用开放 LLM，并通过 将 OpenClaw 连接到 Unsloth。OpenClaw 是一个 开源 AI 智能体 可连接到模型、在你的项目中执行任务的界面。

OpenClaw 可以通过 Unsloth 的 OpenAI 兼容 API：包括 DeepSeek、Qwen、Gemma 等。OpenClaw 充当客户端，而 Unsloth 通过 本地 API.

设置完成后，OpenClaw 将通过 Unsloth 运行于你的本地模型之上，让你可以直接将其用作 AI 智能体。

连接到 OpenClaw快速开始

在本教程中，我们将使用 unsloth/Qwen3.6-27B-GGUF 在 Unsloth 中，并通过 OpenClaw 访问它。想用其他模型？只需在 Unsloth 中加载其他模型并更新配置即可。

安装 OpenClaw

macOS、Linux、WSL

使用官方安装程序安装 OpenClaw：

curl -fsSL https://openclaw.ai/install.sh | bash

这将设置 OpenClaw 并引导你完成初始配置。

Windows（PowerShell）

API 访问属于 Unsloth（Beta）。请确保你使用的是最新版本，较早的构建不会暴露外部 API。请参阅“安装”进行安装或更新。

安装 Unsloth

⚡ 快速开始

安装 OpenClaw 后，我们还需要安装 Unsloth Studio，以便 OpenClaw 能够托管并运行本地模型推理。

1. 安装或更新 Unsloth Studio. 早期版本不会暴露外部 API。请参阅“安装”。

2. 启动 Unsloth。 请注意，它启动时使用的端口通常是 8000 或 8888。你会在终端输出和浏览器 URL 中看到它（http://localhost:PORT).

3. 加载一个模型。 点击 新聊天，选择或搜索一个模型（GGUF），并等待其加载完成。

4. 创建 API 密钥。 在 Unsloth 中，点击你的 Unsloth 左下角头像 → 设置 → API 密钥 → 输入密钥名称 → 创建。复制 sk-unsloth-… 出现的值。Unsloth 只会显示一次。

5. 将你的客户端指向 Unsloth。 使用 http://localhost:PORT 作为基础 URL，以及你的 sk-unsloth-… 密钥进行身份验证。请跳到下面对应工具的配置说明。

🔑 创建 API 密钥

密钥可从 Unsloth → 设置 → API 密钥.

1. 打开侧边栏，点击你的 Unsloth 左下角头像。

2. 前往 设置 → API 密钥.

3. 输入一个易识别的名称（例如 claude-code-macbook).

4. （可选） 设置过期时间。

5. 点击 创建.

6. 立即复制密钥。 Unsloth 只会存储哈希值，你将无法再次查看它。

所有密钥都以 sk-unsloth- 前缀开头。你可以随时在同一页面撤销某个密钥。使用已撤销密钥发出的请求将失败，并返回 401 Unauthorized.

请像对待密码一样对待你的 API 密钥。任何拥有该密钥且能访问你的 Unsloth 实例网络的人，都可以向你加载的模型发送请求。

连接到 OpenClaw

OpenClaw 从以下位置读取配置： ~/.openclaw/openclaw.json。添加（或合并）一个 models 块，并使用一个 unsloth 指向 Unsloth 的 Anthropic Messages API 的 provider。

~/.openclaw/openclaw.json

{
  "models": {
    "mode": "merge",
    "providers": {
      "unsloth": {
        "baseUrl": "http://localhost:8888/v1",
        "apiKey": "sk-unsloth-xxxxxxxxxxxx",
        "api": "anthropic-messages",
        "models": [
          {
            "id": "unsloth/Qwen3.6-27B-GGUF",
            "name": "unsloth/Qwen3.6-27B-GGUF"
          }
        ],
        "authHeader": true
      }
    }
  }
}

说明：

• baseUrl 必须以 /v1.

• api: "anthropic-messages" 告诉 OpenClaw 与 Unsloth 的 /v1/messages 端点通信。

• authHeader: true 会将你的密钥以 Authorization: Bearer ….

• 将每个模型的 id 和 name 设置为你在 Unsloth 中加载该模型时选择的名称。

• 如果你在远程机器上运行 Unsloth，请将 localhost:8888 替换为该机器的地址（例如 http://10.0.0.42:8888/v1).

可选：配置模型行为

OpenClaw 通过在 Unsloth 中运行的模型进行连接。启动服务器时可以配置运行时设置。

# 配置默认生成行为
unsloth run \
  --model unsloth/gemma-4-26B-A4B-it-GGUF \
  --reasoning off \
  --temp 0.6

使用 --reasoning off 用于关闭思考模式，或 --reasoning on 用于对支持推理的模型开启该功能。

# 允许来自其他设备的连接
unsloth run \
  --model unsloth/gemma-4-26B-A4B-it-GGUF \
  -H 0.0.0.0 \
  -p 8888

这会将服务器启动在 0.0.0.0:8888，允许本地网络中的其他设备连接。

有关更高级的运行时配置，请参阅主要的 API 调优 部分。