Unsloth 会在一个单独托管的主目录中启动 Hermes，并已预先配置好 Unsloth 提供方、模型和上下文设置。你现有的 Hermes 设置不会受到影响。
默认情况下，这个托管主目录是临时的。若要保留你的会话和状态，请从首次启动时添加 `--persist` ：
```bash
unsloth start hermes --persist
```
稍后要返回最近一次会话，请运行：
```bash
unsloth start hermes --persist --continue
```
要重新打开特定会话，请使用 `--resume ` 替代。
请参阅完整的 [unsloth start](/docs/zh/ji-cheng/unsloth-start.md) 参考文档，了解模型选择、远程连接和高级选项。
如果你更愿意自己管理 Hermes 提供方，下面的设置向导仍然可用。
### 🔑 创建 API 密钥
1. 打开侧边栏，点击左下角的 **Unsloth** 头像。
2. 前往 **设置** → **API**.
3. 输入一个友好的名称（例如 `hermes-agent-macbook`).
4. *（可选）* 设置过期时间。
5. 点击 **创建**.
6. **立即复制该密钥。** Unsloth 只会保存哈希值，你将无法再次查看它。
所有密钥都以 `sk-unsloth-` 前缀开头。你可以随时在同一页面吊销密钥。使用已吊销密钥发出的请求将失败，并返回 `401 未授权`.
### 🦥 将 Hermes 与 Unsloth API 集成
Hermes 会将每一轮对话发送到已配置的推理提供方，并连接到 **兼容 OpenAI 的** 端点。你可以在安装过程中或稍后通过设置向导配置该提供方。
**1. 打开设置向导：**
{% columns %}
{% column %}
```bash
hermes setup
```
在“你想做什么？”菜单中选择 **模型与提供方** ，仅配置推理端点；或者选择 **完整设置** 以逐步配置所有内容（TTS、工具、消息网关、代理设置）。
{% endcolumn %}
{% column %}
{% endcolumn %}
{% endcolumns %}
**2. 当 Hermes 提示你选择推理提供方时，选择自定义的兼容 OpenAI 的端点** 。
**3. 按照 Hermes 的提示填写以下内容** ：
| 提示 | 值 |
| ---------------------- | ---------------------------------------------------- |
| **API 基础 URL** | `http://localhost:8888/v1` *（你的 Unsloth 端口 + `/v1`)* |
| **API 密钥** | 你的 `sk-unsloth-…` 密钥 |
| **检测到的模型：…… 使用这个模型吗？** | `Y` *（Hermes 通过 `GET /v1/models`)* |
| **以 token 计的上下文长度** | *（留空以自动检测）* |
| **显示名称** | 任意你喜欢的名称，例如 `unsloth-api` |
Hermes 会通过 `/v1/models` 验证端点，并在继续之前确认检测到的模型。
**4. 其余提示接受默认值** （TTS、工具、消息网关、代理设置），你之后都可以重新配置。Hermes 会将所有内容写入 `~/.hermes/config.yaml` 和 `~/.hermes/.env`.
**5. 启动 Hermes：**
```bash
hermes
```
启动横幅会在状态栏中显示你的 Unsloth 模型名称（例如 `unsloth/Qwen3.6-27B-GGUF`），并且提示已可输入。
{% hint style="info" %}
如需稍后仅重新配置模型，请运行 `hermes setup model`。若要直接编辑配置文件， `hermes config edit` 会打开 `~/.hermes/config.yaml` 在你的 `$EDITOR`.
{% endhint %}
### 可选：调整 Unsloth 服务器参数
`unsloth run` 启动本地 API 服务器并加载一个模型供你的应用连接。你也可以在启动时自定义服务器行为。
```bash
# 提供 Hermes 服务（--disable-tools 会透传代理自身的工具）
unsloth run \\
--model unsloth/gemma-4-26B-A4B-it-GGUF \\
--disable-tools \\
--reasoning off \\
-p 8888
```
{% hint style="warning" %}
使用 `--disable-tools` 在驱动 Hermes（或任何带有自身工具的外部代理）时使用。默认情况下，Unsloth Studio 会运行其自己的服务端工具，从而吞掉代理的工具调用，所以 Hermes 虽然会回答，但不会真正执行其工具。 `--disable-tools` 会切换为透传模式，因此会使用 Hermes 自己的工具。
{% endhint %}
使用 `--reasoning off` 用于关闭思考，或 `--reasoning on` 用于对支持推理的模型开启思考。
```bash
# 在本地网络上暴露 API
unsloth run \\
--model unsloth/gemma-4-26B-A4B-it-GGUF \\
-H 0.0.0.0 \\
-p 8888
```
这会在 `0.0.0.0:8888`上启动服务器，允许本地网络中的其他设备连接。 `-p` 会更改服务器运行的端口。如果你希望手机、笔记本或网络中的其他设备连接到 API 服务器，请用 `-H 0.0.0.0`.
启动它。有些应用仍可能为单个请求覆盖生成设置。有关更高级的运行时配置，请参阅主要的 [API 调优](https://unsloth.ai/docs/basics/api#unsloth-run-command) 部分。
---
# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.
## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.
Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:
```
GET https://unsloth.ai/docs/zh/ji-cheng/hermes-agent.md?ask=&goal=
```
`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
