使用 Unsloth Start 运行本地 LLM 编码代理
Unsloth 可让你连接 Claude Code, Codex、Hermes、OpenCode、Pi 以及其他编码代理，通过 unsloth start 命令连接到本地模型。整个工作流可以在你自己的硬件上离线运行。 Unsloth 会在每次启动时自动配置端点、API 密钥、提供方、模型和上下文长度，因此你无需修改它们即可使用你偏好的代理。本指南将向你展示如何从命令行启动模型以供离线使用，并连接到 Unsloth。
快速入门
首先，确保你已安装 Unsloth。然后打开 Unsloth，加载一个模型，进入你的项目文件夹，并在终端中运行命令：
unsloth start claude你可以将 claude 替换为下面的任意代理：
Claude Code
unsloth start claude
OpenAI Codex
unsloth start codex
Hermes 代理
unsloth start hermes
OpenClaw
unsloth start openclaw
OpenCode
unsloth start opencode
Unsloth 使用临时或会话范围内的提供方配置。它不会把 Unsloth 提供方添加到代理的常规配置文件中。
Codex 目前需要通过 llama-server 后端提供的 GGUF 模型。
代理指南
从命令行加载模型
你可以在启动代理时选择并加载模型：
该 :UD-Q4_K_XL 后缀用于选择 GGUF 量化版本。
显式的 --gguf-variant 会覆盖写在模型名称后面的量化版本。
在默认的本地地址上，传入 --model 可让 unsloth start 在 Unsloth Studio 尚未运行时启动一个临时服务器。临时服务器会在代理退出时停止。如果 Unsloth 已经在运行，该命令会连接到它并保持其运行。
下面是代理连接到本地 LLM 的示例：
连接到远程 Unsloth 服务器
在启动代理之前设置 Unsloth URL 和 API 密钥：
你也可以使用 --api-key传入密钥。对于经过 unsloth start 会自动创建或复用 API 密钥。
选项
--model, -m
选择一个模型。不指定时，使用 Unsloth 报告的第一个模型。
--api-key
提供 Unsloth API 密钥。你也可以设置 UNSLOTH_API_KEY.
--launch / --no-launch
启动代理或打印生成的环境和命令。
--serve / --no-serve
允许或阻止自动启动本地服务器。
--gguf-variant
选择一个 GGUF 量化变体。
--context-length, --max-seq-length
在加载模型时设置请求的上下文长度。
--load-in-4bit / --no-load-in-4bit
控制非 GGUF 的 Hugging Face 模型的 4 位加载。
--tensor-parallel / --no-tensor-parallel
为多 GPU 系统启用或禁用 tensor-parallel GGUF 加载。
--persist / --no-persist
在适用时保留由 Unsloth 管理的代理主目录。
--yolo
使用所选代理的非提示或信任模式。
-h, --help
显示命令帮助。
当 Unsloth 需要加载或协调所请求的模型时，会使用加载选项。
向代理传递普通命令
不是 Unsloth 选项的参数会传递给所选代理：
请使用代理自己的帮助命令查看其完整的原生选项列表。
会话和 --persist
--persist 会保留受管存储。它不会自行恢复对话；还要传入代理的常规恢复命令。
代理
你需要 --persist?
恢复示例
Claude Code
不需要。Claude 使用其常规会话存储。
unsloth start claude --continue
OpenAI Codex
需要。其受管的 Codex 主目录默认是临时的。
unsloth start codex --persist resume --last
OpenClaw
需要。受管配置、工作区和会话默认都是临时的。
使用 --persist 以及相同的原生会话 ID。
OpenCode
不需要。OpenCode 使用其常规会话存储。
unsloth start opencode run --continue "继续"
Hermes 代理
需要。其受管的 Hermes 主目录默认是临时的。
unsloth start hermes --persist --continue --oneshot "继续"
Pi 编码代理
需要。其受管的 Pi 主目录默认是临时的。
unsloth start pi --persist --continue
对于 Codex、OpenClaw、Hermes 和 Pi，使用 --persist 在首次启动时，以及返回会话时再次使用。
为命名会话使用稳定的会话 ID：
打印启动命令而不执行它
这会打印生成的环境和命令。输出可能包含连接凭据，因此不要在日志或截图中公开它。
绕过权限模式
--yolo 映射到所选代理的信任模式或非提示模式。它可以减少审批提示，并允许代理在未先询问的情况下运行命令。
仅在允许代理无限制执行操作的环境中使用它。
常见问题
最后更新于
这有帮助吗？