For the complete documentation index, see llms.txt. This page is also available as Markdown.

如何使用 OpenClaw 运行本地 AI 模型

使用 OpenClaw 运行本地 LLM 的指南。

本指南将展示如何在本地使用开源 LLM,并通过 将 OpenClaw 连接到 Unsloth。。OpenClaw 是一个 开源 AI 代理 接口,它连接到模型以在你的项目中执行任务。OpenClaw 能够通过 Unsloth 的 OpenAI 兼容 API:包括 DeepSeek、Qwen、Gemma 等。

OpenClaw 充当客户端,而 Unsloth 则通过一个 本地 API。设置完成后,OpenClaw 将通过 Unsloth 在你的本地模型上运行,让你可以直接将其用作 AI 代理。 在本教程中,我们将使用 Qwen3.6.

连接到 OpenClaw快速开始

在本教程中,我们将使用 unsloth/Qwen3.6-27B-GGUF 在 Unsloth 中并通过 OpenClaw 访问它。想用其他模型?只需在 Unsloth 中加载其他模型并更新配置即可。

安装 OpenClaw

使用官方安装程序安装 OpenClaw:

curl -fsSL https://openclaw.ai/install.sh | bash

这会安装 OpenClaw 并引导你完成初始设置。

使用官方安装程序安装 OpenClaw:

iwr -useb https://openclaw.ai/install.ps1 | iex

这会安装 OpenClaw 并引导你完成初始设置。

⚡ 快速开始

安装 OpenClaw 后,我们还需要安装 Unsloth Desktop 以便让 OpenClaw 能够托管并对本地模型进行推理。

1

下载 Unsloth

最快的入门方式是安装 Unsloth Desktop 应用。它支持 macOS、Linux、 Windows, NVIDIA, AMD、Intel 和 CPU 配置。

下载 Unsloth

或者,如果你更喜欢手动安装:

macOS、Linux、WSL:

curl -fsSL https://unsloth.ai/install.sh | sh

Windows PowerShell:

irm https://unsloth.ai/install.ps1 | iex
2

安装

  1. 打开 Unsloth 安装程序(.dmg, .exe 文件)

  2. 在 Mac 上将 Unsloth 拖到 Applications 文件夹,或在 Windows 上完成设置。

  3. 启动应用并等待安装完成

3

选择模型

打开顶部的“Select model”下拉菜单或“Model hub”选项卡,选择适合你设备的模型和量化方式,然后下载它。完成后即可开始聊天——无需额外设置。

4

Unsloth 已准备就绪

要开始聊天,请输入消息并按 Enter。

连接 OpenClaw。 运行 unsloth start openclaw 以在单独的受管环境中使用已加载的 Unsloth 模型启动 OpenClaw。你常规的 OpenClaw 配置保持不变。

⚙️ 使用以下方式启动 OpenClaw: unsloth start

OpenClaw 可以连接到已在 Unsloth Studio 中运行的模型,也可以在 Unsloth 未运行时自动启动一个模型。

连接到正在运行的 Unsloth 实例

在 Unsloth Studio 中加载模型后,运行:

Unsloth 会在单独的受管环境中,以已配置好的 Unsloth 提供方、模型和上下文长度,在本地 TUI 模式下启动 OpenClaw。你常规的 OpenClaw 设置保持不变。

OpenClaw 打开后,给它一个任务,例如:

自动启动模型

如果 Unsloth 尚未运行,请传入模型 ID:

要直接使用模型启动 OpenClaw,运行:

Unsloth 会自动选择要使用的正确参数,但你仍然可以更改它。

Unsloth 会启动模型、启动 OpenClaw,并在你退出时停止临时服务器。 要保留你的 OpenClaw 状态并在稍后返回同一会话,请添加 --persist 并选择一个会话密钥:

稍后使用相同的会话密钥继续:

查看完整的 unsloth start 关于命名会话、模型加载、远程 Unsloth 服务器和高级选项的参考。

本指南其余部分将介绍手动配置 OpenClaw 提供方。

手动配置 OpenClaw 提供方

🔑 创建 API 密钥

密钥创建于 Unsloth → 设置 → API 密钥.

  1. 打开侧边栏,点击左下角的 Unsloth 头像。

  2. 前往 设置 → API 密钥.

  3. 输入一个易于识别的名称(例如 claude-code-macbook).

  4. (可选) 设置过期时间。

  5. 点击 创建.

  6. 立即复制该密钥。 Unsloth 只会存储哈希值,你将无法再次查看它。

所有密钥都以 sk-unsloth- 前缀开头。你可以随时在同一页面撤销密钥。使用已撤销密钥发出的请求将返回 401 Unauthorized.

连接到 OpenClaw

OpenClaw 从以下位置读取其配置: ~/.openclaw/openclaw.json。添加(或合并)一个 models 块,包含一个 unsloth 指向 Unsloth 的 Anthropic Messages API 的提供方。

说明:

  • baseUrl 是没有路径的 Unsloth 源地址。OpenClaw 通过 Anthropic Messages API 与 Unsloth 通信,而 Anthropic SDK 会自动追加 /v1/messages ,因此不要添加 /v1 这里(末尾带有 /v1 会将请求发送到 /v1/v1/messages).

  • api: "anthropic-messages" 会告诉 OpenClaw 连接到 Unsloth 的 /v1/messages 端点。

  • authHeader: true 会将你的密钥作为 Authorization: Bearer ….

  • 将每个模型的 id 和 name 设置为你在 Unsloth 中加载模型时选择的名称。

  • 如果你在远程机器上运行 Unsloth,请将 localhost:8888 替换为该机器的地址(例如 http://10.0.0.42:8888).

可选:配置模型行为

OpenClaw 通过在 Unsloth 中运行的模型进行连接。可以在启动服务器时配置运行时设置。

使用 --reasoning off 将思考关闭,或 --reasoning on 将其开启,用于支持推理的模型。

这会在 0.0.0.0:8888上启动服务器,允许本地网络中的其他设备连接。

有关更高级的运行时配置,请参阅主 API 调优 部分。

最后更新于

这有帮助吗?