Introducing Unsloth Studio: a new web UI for local AI
🦥
Ctrlk
RedditDiscordGitHub
For the complete documentation index, see llms.txt. This page is also available as Markdown.

如何使用 Hermes Agent 运行本地 AI 模型

关于在本地使用 Hermes Agent 运行开源 LLM 的指南。

本指南可让你使用 Hermes Agent 通过 Unsloth来在本地运行开源 LLM。Hermes Agent 是一个 开源 自治 AI 代理，它连接到模型端点、执行任务，并通过记忆和已学习技能不断改进。

它可与任何 本地模型 一起使用，这些模型通过 Unsloth 的 与 OpenAI 兼容的 API暴露出来，包括：DeepSeek、Qwen、Gemma 等。Hermes 充当代理客户端，而 Unsloth 通过本地 API 加载并提供模型服务。

设置完成后，通过 Hermes 发送的每个提示都会在你的本地模型上运行，而不是远程提供方。

设置 Hermes🦥 使用 Unsloth 运行开源模型

在本教程中，你将安装 Hermes 并将其配置为使用 unsloth/Qwen3.6-27B-GGUF ，该模型由 Unsloth 提供。想用别的模型？只需在 Unsloth 中加载其他模型并更新配置即可。

设置 Hermes Agent

先决条件。 安装程序会检查这些项目，如有缺失则会停止。请先安装你机器上尚未具备的内容：

  • 操作系统 Linux、macOS，或通过 WSL 使用 Windows。

  • uv Python 包管理器。使用以下命令安装： curl -LsSf https://astral.sh/uv/install.sh | sh.

  • Python 3.11+ 如果缺失，安装程序可以通过 uv 为你自动提供。

  • Git 用于克隆 Hermes 仓库。

  • Node.js 18+，用于 Hermes 的浏览器工具。

  • ripgrep (rg）用于快速文件搜索。

  • ffmpeg 用于 TTS/语音消息。

1. 运行安装程序 在终端中：

curl -fsSL https://raw.githubusercontent.com/NousResearch/hermes-agent/main/scripts/install.sh | bash

安装程序将：

  1. 检测你的操作系统。

  2. 验证上面列出的每一项先决条件，并为每项打印 ✓ 或 ✗。

  3. 将 Hermes 克隆到 ~/.hermes/hermes-agent/ （如果配置了 GitHub SSH 密钥则通过 SSH，否则通过 HTTPS）。

  4. 在 ~/.hermes/hermes-agent/venv/.

  5. 创建一个 Python 3.11 虚拟环境。

  6. 为浏览器工具安装 Node.js 依赖。

  7. 安装 Playwright 的 Chromium 引擎。 此步骤会提示你输入 sudo ，以便 Playwright 安装共享库。Hermes 本身不需要 root。

2. 重新加载你的 shell 以便 hermes 命令位于你的 PATH:

3. 验证安装：

如果该命令有响应，就说明 Hermes 已安装。所有内容都位于 ~/.hermes/:

路径
说明

~/.hermes/config.yaml

主要设置（模型、提供方、工具、TTS 等）

~/.hermes/.env

API 密钥和其他机密信息

~/.hermes/hermes-agent/

Hermes 源码 + 虚拟环境

~/.hermes/cron/, sessions/, logs/

运行时数据

~/.hermes/skills/

已安装的技能（从 Skills Hub 同步）

完整安装参考： hermes-agent.nousresearch.com/docs/getting-started/installation。如果安装程序报告缺少某项先决条件，请先安装它，然后重新运行该一行命令。安装程序具有幂等性。

安装 Unsloth

⚡ 快速开始

安装 OpenCode 之后，我们还需要安装 Unsloth Studio，以便让 OpenCode 提供服务并对本地模型进行推理。

  1. 安装或更新 Unsloth Studio。 较早版本不公开外部 API。请参阅安装。

  2. 启动 Unsloth。 注意它启动时所使用的端口通常是 8000 或 8888。你会在终端输出和浏览器 URL（http://localhost:PORT).

  3. 加载一个模型。 点击 新聊天，选择或搜索一个模型（GGUF），并等待其加载完成。

  4. 创建一个 API 密钥。 在 Unsloth 中，点击你左下角的 Unsloth 头像 → 设置 → API → 输入密钥名称 → 创建。复制出现的 sk-unsloth-… 值。Unsloth 只会显示一次。

  5. 将你的客户端指向 Unsloth。 使用 http://localhost:PORT 作为基础 URL，并将你的 sk-unsloth-… 密钥用于身份验证。请直接跳到下面对应工具的配置说明。

🔑 创建 API 密钥

  1. 打开侧边栏，点击左下角的你的 Unsloth 头像。

  2. 前往 设置 → API.

  3. 输入一个友好的名称（例如 claude-code-macbook).

  4. （可选） 设置过期时间。

  5. 点击 创建.

  6. 立即复制该密钥。 Unsloth 只存储哈希值，你将无法再次查看它。

所有密钥都以 sk-unsloth- 前缀开头。你可以随时在同一页面撤销某个密钥。使用已撤销密钥发出的请求将会失败，并返回 401 未授权.

请像对待密码一样对待你的 API 密钥。任何拥有该密钥并且能够访问你的 Unsloth 实例网络的人，都可以向你加载的模型发送请求。

🦥 将 Hermes 与 Unsloth API 集成

Hermes 会将每一轮聊天发送到已配置的推理提供方，并连接到 与 OpenAI 兼容的 端点。在安装期间或稍后通过设置向导配置该提供方。

1. 打开设置向导：

在“你想做什么？”菜单中选择 模型与提供方 ，即可只配置推理端点；或者选择 完整设置 来逐步完成所有内容（TTS、工具、消息网关、代理设置）。

2. 当 Hermes 提示你选择推理提供方时，选择自定义的与 OpenAI 兼容端点 。

3. 按照 Hermes 的步骤填写提示项： ：

提示
值

API 基础 URL

http://localhost:8888/v1 （你的 Unsloth 端口 + /v1)

API 密钥

你的 sk-unsloth-… 密钥

检测到的模型：… 使用此模型？

Y （Hermes 通过 GET /v1/models)

以 token 计的上下文长度

（留空以自动检测）

显示名称

任意你喜欢的名称，例如 unsloth-api

Hermes 会使用 /v1/models 验证端点，并在继续之前确认检测到的模型。

4. 对其余提示接受默认值 （TTS、工具、消息网关、代理设置）；你之后可以重新配置其中任何一项。Hermes 会将所有内容写入 ~/.hermes/config.yaml 和 ~/.hermes/.env.

5. 启动 Hermes：

启动横幅会在状态栏中显示你的 Unsloth 模型名称（例如 unsloth/Qwen3.6-27B-GGUF），并且提示符已准备好接受输入。

若要稍后只重新配置模型，请运行 hermes setup model。若要直接编辑配置文件， hermes config edit 会在你的 ~/.hermes/config.yaml 中打开 $EDITOR.

可选：调整 Unsloth 服务器

unsloth run 会启动本地 API 服务器并加载一个模型，供你的应用连接。你也可以在启动时自定义服务器的行为。

使用 --reasoning off 用于关闭思考，或者 --reasoning on 用于为支持推理的模型开启思考。

这会将服务器启动在 0.0.0.0:8888，从而允许本地网络中的其他设备连接。 -p 更改服务器运行的端口。如果你希望手机、笔记本或网络中的其他设备连接到 API 服务器，请使用 -H 0.0.0.0.

某些应用仍可能针对单个请求覆盖生成设置。若要进行更高级的运行时配置，请参阅主要的 API 调优 部分。

上一页OpenCode下一页Python SDK

最后更新于

这有帮助吗？