> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/zh/ji-chu/claude-code.md).

# 如何使用 Claude Code 运行本地 LLM

这份分步指南将向你展示如何在本地将开源 LLM 和 API 连接到 Claude Code，并附带截图。可使用任何开源模型运行，例如 Qwen3.6、DeepSeek 和 Gemma。

{% columns %}
{% column width="58.333333333333336%" %}
在本教程中，我们将使用以下开放模型： [Gemma 4](/docs/zh/mo-xing/gemma-4.md) 和 [Qwen3.5](/docs/zh/mo-xing/qwen3.5.md) 这些都是很强的 agentic 和编程模型（可在 24GB 内存/统一内存设备上运行）。

对于推理，我们将使用 [Unsloth Studio](https://github.com/unslothai/unsloth) 和 [`llama.cpp`](https://github.com/ggml-org/llama.cpp) 它可让你在 macOS、Linux 和 Windows 上运行/部署 LLM。你也可以使用任何其他模型。对于模型量化，我们使用 Unsloth [动态 GGUF](/docs/zh/ji-chu/unsloth-dynamic-2.0-ggufs.md) 来运行任何量化 LLM，同时保留准确性。
{% endcolumn %}

{% column width="41.666666666666664%" %}

<figure><img src="/files/86e035acbaafcca2b57e4bb3f4191ad68bf30547" alt=""><figcaption><p>Claude Code 在本地配合 Qwen3.5 运行。</p></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

<a href="/pages/1a707991086189a8e5cd8374f3ce1b81915bc159#claude-code-setup" class="button primary" data-icon="claude">Claude Code 设置</a><a href="/pages/1a707991086189a8e5cd8374f3ce1b81915bc159#quickstart-tutorials" class="button primary">📖 本地模型设置教程</a>

## <i class="fa-claude">:claude:</i> Claude Code 设置

在设置本地 LLM 之前，我们需要先安装 Claude Code。Claude Code 是一个基于终端的编码代理，能够理解你的代码库，并使用自然语言处理复杂的 Git 工作流。

{% tabs %}
{% tab title="macOS、Linux、WSL" %}

#### **安装 Claude Code：**

将以下内容粘贴到你的终端中以安装 Claude Code：

```bash
curl -fsSL https://claude.ai/install.sh | bash
```

安装完成后，进入你的项目文件夹。然后输入 `claude` 到 `shell` 开始。

```bash
cd ~/projects/my-project 
claude
```

{% endtab %}

{% tab title="Windows" %}

#### **安装 Claude Code：**

进入 `PowerShell` 以安装 Claude Code：

```powershell
irm https://claude.ai/install.ps1 | iex
```

安装完成后，进入你的项目文件夹。然后输入 `claude` 到 `powershell` 开始。

<pre class="language-powershell"><code class="lang-powershell"><strong>cd /path/to/your/project
</strong>claude
</code></pre>

<div data-with-frame="true"><figure><img src="/files/7fbec167ff74cf9abb427048194317d761229e04" alt="" width="563"><figcaption></figcaption></figure></div>
{% endtab %}
{% endtabs %}

### :detective:修复 Claude Code 中推理慢 90% 的问题

{% hint style="warning" %}
Claude Code 最近会添加一个 Claude Code Attribution 标头， **这会使 KV Cache 失效，导致本地模型的推理慢 90%**.
{% endhint %}

归因信息是一行前置到 **系统提示词开头** (`x-anthropic-billing-header: cc_version=...; cch=...;`）的内容，其值会在每次请求时变化，因此整个提示前缀在每一轮都会错过 KV cache。

最简单的修复方法是在启动 Claude Code 时直接禁用它，这样就无需编辑文件：

{% code overflow="wrap" %}

```bash
claude --settings '{"env":{"CLAUDE_CODE_ATTRIBUTION_HEADER":"0","CLAUDE_CODE_ENABLE_TELEMETRY":"0"}}' --model unsloth/gemma-4-26B-A4B-it-GGUF
```

{% endcode %}

{% hint style="info" %}
最近版本的 Claude Code 也会遵循 `export CLAUDE_CODE_ATTRIBUTION_HEADER=0`；较旧的版本会忽略 shell 变量，因此上面的 `--settings` 形式（或下面的设置文件）是更可靠的选择。
{% endhint %}

要使其永久生效，请添加 `CLAUDE_CODE_ATTRIBUTION_HEADER` 并将其设为 0，放在 `"env"` 在 `~/.claude/settings.json`中。例如： `cat > ~/.claude/settings.json` 然后添加下面的内容（粘贴后按 Enter，再按 CTRL+D 保存）。如果你已有一个之前的 `~/.claude/settings.json` 文件，只需添加 `"CLAUDE_CODE_ATTRIBUTION_HEADER" : "0"` 到 "env" 部分，其余设置文件保持不变。

<pre class="language-json"><code class="lang-json">{
  "promptSuggestionEnabled": false,
  "env": {
    "CLAUDE_CODE_ENABLE_TELEMETRY": "0",
    "CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC": "1",
    <a data-footnote-ref href="#user-content-fn-1">"CLAUDE_CODE_ATTRIBUTION_HEADER" : "0"</a>
  },
  "attribution": {
    "commit": "",
    "pr": ""
  },
  "plansDirectory" : "./plans",
  "prefersReducedMotion" : true,
  "terminalProgressBarEnabled" : false,
  "effortLevel" : "high"
}
</code></pre>

## 📖 快速入门教程

{% columns %}
{% column %}
开始前，我们首先需要完成您将要使用的特定模型的设置。我们使用 [Unsloth](/docs/zh/xin/studio.md) （一个 Web UI）和 llama.cpp；它们是在 Mac、Linux 和 Windows 设备上运行及部署 LLM 的开源框架。

Unsloth 还具有独特的自我修复 [工具调用](/docs/zh/xin/studio/chat.md#auto-healing-tool-calling) 和 [网页搜索](/docs/zh/xin/studio/chat.md#code-execution) 能力。请看右侧连接到 Unsloth 的 Claude Code：
{% endcolumn %}

{% column %}

<div data-with-frame="true"><figure><img src="/files/c633f6e5a61522d2d7fa76b1c6c3376b956d223d" alt=""><figcaption></figcaption></figure></div>
{% endcolumn %}
{% endcolumns %}

<a href="/pages/1a707991086189a8e5cd8374f3ce1b81915bc159#connect-claude-code" class="button primary" data-icon="claude">连接 Claude Code</a><a href="/pages/1a707991086189a8e5cd8374f3ce1b81915bc159#unsloth-tutorial" class="button primary">🦥 Unsloth 教程</a><a href="https://unsloth.ai/docs/basics/claude-code#llama.cpp-tutorial" class="button primary"> llama.cpp 教程</a>

## 🦥 Unsloth 教程

在本教程中，我们将使用 [Unsloth](https://github.com/unslothai/unsloth)通过 UI 将本地模型部署/连接到 Claude Code。Unsloth 可在 Windows、WSL、Linux 和 macOS 上运行。

{% columns %}
{% column %}

* 搜索、下载， [运行 GGUF](/docs/zh/xin/studio.md#run-models-locally) 以及 safetensor 模型
* [**自修复** 工具调用](/docs/zh/xin/studio.md#execute-code--heal-tool-calling) + **网页搜索**
* [**代码执行**](/docs/zh/xin/studio.md#run-models-locally) （Python、Bash）
* [自动推理](/docs/zh/xin/studio.md#model-arena) 参数选择（temp、top-p 等）
* 通过 llama.cpp 实现快速 CPU + GPU 推理
* [训练 LLM](/docs/zh/xin/studio.md#no-code-training) 速度提升 2 倍，VRAM 减少 70%

请参阅下方安装说明：
{% endcolumn %}

{% column %}

<div data-with-frame="true"><figure><img src="/files/f8801eb887a6a996de4f745df66b4617f383d216" alt=""><figcaption><p>在 Unsloth 中运行 Qwen3.6 2-bit 的示例。</p></figcaption></figure></div>
{% endcolumn %}
{% endcolumns %}

{% tabs %}
{% tab title="MacOS" %}

#### 步骤 1：设置 Unsloth

启动 `终端` ，然后通过输入下面的命令安装 Unsloth。

```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```

Unsloth 将开始设置环境并安装所需的软件包，如下所示。输入 **Y** 并按 `Enter` 当被询问是否允许 Unsloth 立即启动时。这将把 Unsloth 启动在你的本地 **8888** 端口上。

<figure><img src="/files/5f519c6be67e8e04d146b8890e77a97ea1d57b24" alt="" width="375"><figcaption></figcaption></figure>

{% hint style="info" %}
如果你在安装过程中选择不启动 Unsloth，也可以随时使用以下命令启动 Unsloth 应用： `unsloth studio -p 8888` 。如果你希望你的 Unsloth 实例可被 PC/计算机外部的客户端访问，请添加 `-H 0.0.0.0` 到 `unsloth studio` 命令中。
{% endhint %}

#### 步骤 2：启动 Unsloth

打开你喜欢的浏览器并输入 `http://127.0.0.1:8888` 到 URL 输入框中。如果这是你第一次安装 Unsloth，你将被转到密码页面，需要创建一个新密码。之后，Unsloth 应该会在下面所示的聊天页面中打开。

<figure><img src="/files/752cee75840c3ad7dcf1d7c341a194e63895ac0e" alt="" width="375"><figcaption></figcaption></figure>
{% endtab %}

{% tab title="Windows" %}

#### 步骤 1：设置 Unsloth

打开开始菜单，搜索 `PowerShell`，然后启动它。复制并输入安装命令：

```powershell
irm https://unsloth.ai/install.ps1 | iex
```

它将自动开始安装。安装完成后，PowerShell 会询问你是否要启动 Unsloth Studi&#x6F;**.**

<figure><img src="/files/5f519c6be67e8e04d146b8890e77a97ea1d57b24" alt="" width="375"><figcaption></figcaption></figure>

你也可以使用以下命令启动它：

```bash
unsloth studio -H 0.0.0.0 -p 8888
```

{% hint style="info" %}
如果你希望你的实例可被 PC/计算机外部的客户端访问。\
添加 `-H 0.0.0.0` 到 `unsloth studio` 命令中。
{% endhint %}

#### 步骤 2：启动 Unsloth

打开 `http://127.0.0.1:8888` 在浏览器中。首次启动时，创建一个新密码以继续进入聊天页面。 **Unsloth Studio** 现在已安装并可使用。

<figure><img src="/files/752cee75840c3ad7dcf1d7c341a194e63895ac0e" alt="" width="375"><figcaption></figcaption></figure>
{% endtab %}

{% tab title="Linux、WSL" %}

#### 步骤 1：设置 Unsloth

{% tabs %}
{% tab title="Linux" %}
打开你的终端应用。你可以通过按 `Ctrl + Alt + T`，或者搜索 `终端` 在系统的应用菜单中找到它。
{% endtab %}

{% tab title="WSL" %}
点击 Windows 开始菜单，输入你已安装发行版的名称（例如 `Ubuntu`），然后打开它。

{% hint style="warning" %}
在 **WSL**，请确保你的 **NVIDIA 驱动程序** 已安装在 **Windows** （不是在 WSL 内）并且 **CUDA 工具包** 已安装在你的 WSL 发行版中。详情请参见下面的系统要求。
{% endhint %}
{% endtab %}
{% endtabs %}

要安装，请复制并运行安装命令：

```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```

然后：

1. 单击终端窗口内
2. 使用以下快捷键粘贴命令： `Ctrl + Shift + V`
3. 按 `Enter`

Unsloth 将开始设置环境并安装所需的软件包，如下所示。输入 **Y** 并按 `Enter` 当被询问是否允许 Unsloth 立即启动时。这将把 Unsloth 启动在你的本地 **8888** 端口上。

<figure><img src="/files/c88618e7eb40f1e9e7ab2f5d0939b07379022489" alt=""><figcaption></figcaption></figure>

{% hint style="info" %}
如果你在安装过程中选择不启动 Unsloth，也可以随时使用以下命令启动 Unsloth 应用： `unsloth studio -p 8888` 。如果你希望你的 Unsloth 实例可被 PC/计算机外部的客户端访问，请添加 `-H 0.0.0.0` 到 `unsloth studio` 命令中。
{% endhint %}

#### 步骤 2：启动 Unsloth

打开你喜欢的浏览器并输入 `http://127.0.0.1:8888` 到 URL 输入框中。如果这是你第一次安装 Unsloth，你将被转到密码页面，需要创建一个新密码。之后，Unsloth 应该会在下面所示的聊天页面中打开。

<figure><img src="/files/2426649b2fc23e17ba8d2ed31e9afcf2ccc21ee0" alt="" width="375"><figcaption></figcaption></figure>
{% endtab %}
{% endtabs %}

### 模型加载 + API 指南

{% stepper %}
{% step %}

#### 选择模型

在使用 API 之前，请从 Chat 页面左上角的 **选择模型** 下拉菜单中加载一个模型。

<figure><img src="/files/e7c1a267b0c4f58689066eddfc57a2c2211f1e13" alt=""><figcaption></figcaption></figure>

在本指南中，我们将使用： `unsloth/gemma-4-26B-A4B-it-GGUF` 以及推荐的 `UD-Q4_K_XL` 量化方案。
{% endstep %}

{% step %}

#### 测试模型

在使用客户端之前，先发送一条简短消息：

<div data-with-frame="true"><figure><img src="/files/d1ef1d199c3aee2da86cc3da46a133801d2683ad" alt="" width="563"><figcaption></figcaption></figure></div>

{% hint style="info" %}
这可确认模型已正确加载并准备好响应。
{% endhint %}
{% endstep %}

{% step %}

#### **Unsloth API 密钥**

在 Unsloth 中，打开 **设置 → API** 以查看或创建你的 API 密钥。

<figure><img src="/files/7d43e8763d1ae72290485151822b1ea2e4fce42a" alt=""><figcaption></figcaption></figure>

请将你的 API 密钥视为密码，避免在截图或代码仓库中泄露。
{% endstep %}
{% endstepper %}

## ⚙️ 连接 Claude Code

现在我们已经为 Claude Code 设置好了本地 LLM，接下来配置 Claude Code 以便与你的工具协同工作。你可以轻松连接到 `unsloth start` 轻松连接，或 [手动](#connect-manually).

### ⚡ 使用以下方式运行 Claude Code `unsloth start`

要直接使用某个模型启动 Claude，请运行：

```bash
unsloth start claude \\
  --model unsloth/gemma-4-E2B-it-GGUF:UD-Q4_K_XL \\
  --context-length 32768
```

在 Unsloth Studio 中加载模型后，打开你的项目文件夹并运行：

```bash
unsloth start claude
```

<figure><img src="/files/23549bd18ccaa6adc6bd5383f5cc9fe161b45e92" alt="Claude Code connected to a local model through Unsloth Studio"><figcaption><p>Claude Code 正在对 Unsloth Studio 中加载的模型运行。</p></figcaption></figure>

Unsloth 会为这次启动设置本地端点、API 密钥、模型和上下文长度。你正常的 Claude Code 配置不会受到影响。

Claude Code 已经将对话保存在其常规会话存储中，因此 `--persist` 不需要。你可以使用以下命令继续最新会话：

```bash
unsloth start claude --continue
```

查看完整的 `unsloth start` 关于从命令行加载模型、远程 Unsloth 服务器和高级选项的参考。

本指南的其余部分将介绍手动 `llama.cpp` 设置。

#### 🔌 手动连接

如果你更愿意手动设置，可以先配置以下环境变量。默认情况下，这些变量在会话之间不会保留。

{% tabs %}
{% tab title="MacOS、Linux、WSL" %}
**配置：** 设置本地 API URL：

```bash
export ANTHROPIC_BASE_URL="http://localhost:8888"
```

从 Unsloth Studio → Settings → API 复制你的密钥（或者在你使用 `unsloth run`启动它时，从控制台中， `sk-unsloth-...`时它会显示为 `），然后设置它。同时将空的` 这样 Claude Code 就不会提示你输入云端密钥：

```bash
export ANTHROPIC_API_KEY=""
```

可选：使用当前在 Unsloth 中加载的模型名称作为默认值。

```bash
export ANTHROPIC_MODEL="unsloth/gemma-4-26B-A4B-it-GGUF"
```

请使用完整的模型 ID，必须与 `GET http://localhost:8888/v1/models` 中显示的完全一致（就是你传给 `claude --model`).
{% endtab %}

{% tab title="Windows" %}
**配置：** 在 Powershell 中设置本地 API URL：

```powershell
$env:ANTHROPIC_BASE_URL = "http://localhost:8888"
```

从 **Unsloth Studio → Settings → API**复制你的密钥，然后设置：

```powershell
$env:ANTHROPIC_AUTH_TOKEN = "sk-unsloth-xxxxxxxxxxxx"
```

**可选：** 使用当前在 Unsloth 中加载的模型名称作为默认值。

```powershell
$env:ANTHROPIC_MODEL = "gemma-4-26B-A4B-it-GGUF"
```

{% hint style="info" %}
模型名称应为当前在 Unsloth Studio 中加载的模型。
{% endhint %}
{% endtab %}
{% endtabs %}

### 启动 Claude Code

使用当前在 Unsloth 中加载的模型启动 Claude Code。

我们将使用 `gemma-4-26B-A4B-it-GGUF`，但你可以使用任何与 Unsloth 兼容的模型。

```shellscript
claude --model unsloth/gemma-4-26B-A4B-it-GGUF
```

{% hint style="info" %}
为了让本地模型再快一点，你也可以加上 `--bare --exclude-dynamic-system-prompt-sections`。请参见下面的 可选：缩减系统提示。
{% endhint %}

Claude Code 应该会打开并显示所选模型。

<figure><img src="/files/6d4bc21d09fd5681680ae40843b06b44cfd15323" alt=""><figcaption></figcaption></figure>

{% hint style="warning" %}
参见 [#fixing-90-slower-inference-in-claude-code](#fixing-90-slower-inference-in-claude-code "mention") 首先修复开源模型因 KV Cache 失效而变慢 90% 的问题。
{% endhint %}

尝试使用这个提示来研究并排名高质量的 SFT 数据集：

{% code overflow="wrap" %}

```
你只能在 project/ 中工作。不要搜索 CLAUDE.md——这就是它。使用网页搜索在 Hugging Face 上找到 10 个真实的 instruction/chat/SFT 数据集，在研究过程中简要总结你的发现，并解释每个数据集为何与 SFT 相关，然后创建 sft_report.md 作为一份精美的 Markdown 报告，包含排名、数据集名称、创建者、3–5 个相关标签、简短的通俗摘要，以及它为何对 SFT 有用。保持内容简洁易读，不要出现巨大的元数据倾倒、粘贴的原始描述、过长的标签列表或无关数据集。任务在 sft_report.md 中包含 10 条干净、写得好的数据集条目后完成，并以：“Successfully finetuned a model with Unsloth!” 结尾，
```

{% endcode %}

在你提交提示后，代理将搜索网络、评估结果并撰写最终报告。这可能需要几分钟。

某些工作流可能需要你批准操作或回答后续提示。

<figure><img src="/files/b62a6c3b23315b9c625654765c0c4e78269d7198" alt="" width="563"><figcaption></figcaption></figure>

{% hint style="info" %}
某些工作流可能需要你批准操作或回答后续跟进提示。
{% endhint %}

完成后，生成的 `sft_report.md` 看起来会类似这样。

<figure><img src="/files/f00c03605b12f627ff1970d0d9d0721b7be2039c" alt="" width="375"><figcaption></figcaption></figure>

{% hint style="warning" %}
如果你看到 `无法连接到 API（ConnectionRefused）` ，请记得取消设置 `ANTHROPIC_BASE_URL` 通过 `unset ANTHROPIC_BASE_URL`

如果你发现开源模型慢了 90%， [先看这里](#fixing-90-slower-inference-in-claude-code) 来修复 KV cache 被失效的问题。
{% endhint %}

### 可选：缩减系统提示

Claude Code 是为 Anthropic 托管模型构建的，因此其默认系统提示很大。在本地模型上，你可以在启动时添加两个标志来缩短它，以获得更快的响应和更好的 KV-cache 复用：

{% code overflow="wrap" %}

```shellscript
claude --model unsloth/gemma-4-26B-A4B-it-GGUF --bare --exclude-dynamic-system-prompt-sections
```

{% endcode %}

{% hint style="info" %}
`--bare` 跳过对 hooks、skills、plugins、MCP servers 和 CLAUDE.md 的自动发现（Claude 仍保留 Bash 和文件读/写），并且 `--exclude-dynamic-system-prompt-sections` 将每台机器的部分移出提示前缀。两者都会缩短提示并提高 KV-cache 复用，这会让本地模型明显更快。它们是可选的，不会改变上面的连接设置。
{% endhint %}

### 可选：调整 Unsloth 服务器

Claude Code 使用在 Unsloth 中运行的模型。你可以在启动服务器时自定义其行为。

```bash
# 面向编码代理的部署：--disable-tools 会将代理自己的工具透传过去
unsloth run \\
  --model unsloth/gemma-4-26B-A4B-it-GGUF \
  --disable-tools \
  --reasoning off \
  -p 8888
```

{% hint style="warning" %}
使用 `--disable-tools` 在驱动 Claude Code（或任何外部编码代理）时。默认情况下，Unsloth Studio 会运行其自己的服务器端工具，这会吞掉代理的工具调用，因此 Claude Code 会给出回答，但从不编辑文件。 `--disable-tools` 切换为透传模式，因此会使用 Claude Code 自己的 Write/Edit/Bash 工具。
{% endhint %}

使用 `--reasoning off` 用于关闭思考，或 `--reasoning on` 用于在支持推理的模型上开启它。

```bash
# 在本地网络中公开 API
unsloth run \\
  --model unsloth/gemma-4-26B-A4B-it-GGUF \
  -H 0.0.0.0 \\
  -p 8888
```

这会在 `0.0.0.0:8888`上启动服务器，允许本地网络中的其他设备连接。

使用 `-p` 以更改服务器运行的端口。使用 `-H 0.0.0.0` 如果你希望手机、笔记本或网络中的其他设备连接。

有关更高级的运行时配置，请参阅主 [API 调优](https://unsloth.ai/docs/basics/api#unsloth-run-command) 部分。

## 🦙 Llama.cpp 教程

开始前，我们首先需要完成您将要使用的特定模型的设置。我们使用 `llama.cpp` 它是一个开源框架，用于在你的 Mac、Linux、Windows 等设备上运行 LLM。Llama.cpp 包含 `llama-server` 它允许你高效地部署和提供 LLM 服务。模型将运行在 8001 端口，所有代理工具都会通过单一的 OpenAI 兼容端点路由。

#### Qwen3.5 教程

我们将使用 [Qwen3.5](/docs/zh/mo-xing/qwen3.5.md)-35B-A3B，以及用于快速且准确编码任务的特定设置。如果你的 VRAM 不足，并且想要一个 **更聪明的** model, **Qwen3.5-27B** 是个很好的选择，但速度会慢大约 2 倍，或者你也可以使用其他 Qwen3.5 变体，例如 9B、4B 或 2B。

{% hint style="info" %}
如果你想要一个 **更聪明的** 模型，或者你的 VRAM 不足，请使用 Qwen3.5-27B。不过它会比 35B-A3B 慢大约 2 倍。或者你也可以使用 [**Qwen3-Coder-Next**](/docs/zh/mo-xing/qwen3-coder-next.md) 如果你的 VRAM 足够，它会非常出色。
{% endhint %}

{% stepper %}
{% step %}

#### 安装 llama.cpp

我们需要安装 `llama.cpp` 以将本地 LLM 部署/提供给 Claude Code 等使用。我们遵循官方构建说明，以获得正确的 GPU 绑定和最大性能。更改 `-DGGML_CUDA=ON` 更改为 `-DGGML_CUDA=OFF` 如果你没有 GPU，或者只想进行 CPU 推理。 **对于 Apple Mac / Metal 设备**，设置 `-DGGML_CUDA=OFF` 然后像往常一样继续——Metal 支持默认开启。

```bash
apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev git-all -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \\
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp
```

<figure><img src="/files/675408caceb845def8b58ffd8fabf4e741a6a196" alt="" width="563"><figcaption></figcaption></figure>
{% endstep %}

{% step %}

#### 下载并在本地使用模型

通过以下方式下载模型 `huggingface_hub` 在 Python 中（安装后通过 `pip install huggingface_hub hf_transfer`）。我们使用 **UD-Q4\_K\_XL** 量化版本，以获得最佳的大小/准确性平衡。你可以在我们的 [此合集](/docs/zh/kai-shi-shi-yong/unsloth-model-catalog.md)。如果下载卡住，请参见 [Hugging Face Hub、XET 调试](/docs/zh/ji-chu/troubleshooting-and-faqs/hugging-face-hub-xet-debugging.md)

```bash
hf download unsloth/Qwen3.5-35B-A3B-GGUF \
    --local-dir unsloth/Qwen3.5-35B-A3B-GGUF \
    --include "*UD-Q4_K_XL*" # 动态 2 位请使用 "*UD-Q2_K_XL*"
```

<figure><img src="/files/9d9a42a31d027b31aaf6635b3710f3a53d4a6caa" alt=""><figcaption></figcaption></figure>

{% hint style="success" %}
我们使用了 `unsloth/Qwen3.5-35B-A3B-GGUF` ，但你也可以使用其他变体，例如 27B，或者其他模型，例如 `unsloth/`[`Qwen3-Coder-Next`](/docs/zh/mo-xing/qwen3-coder-next.md)`-GGUF`.
{% endhint %}

<figure><img src="/files/56f8dbb1752bda89c4b66bc6ba2989c83811280a" alt="" width="563"><figcaption></figcaption></figure>
{% endstep %}

{% step %}

#### 启动 Llama-server

要为 agentic 工作负载部署 Qwen3.5，我们使用 `llama-server`。我们采用 [Qwen 推荐的采样参数](/docs/zh/mo-xing/qwen3.5.md#recommended-settings) 用于思考模式： `temp 0.6`, `top_p 0.95` , `top-k 20`。请注意，如果你使用非思考模式或其他任务，这些数值会变化。

在新的终端中运行此命令（使用 `tmux` 或打开一个新终端）。下面的命令应该 **可完美装入 24GB GPU（RTX 4090）（占用 23GB）** `--fit on` 也会自动卸载，但如果你看到性能不佳，请降低 `--ctx-size` .

{% hint style="info" %}
我们使用了 `--cache-type-k q8_0 --cache-type-v q8_0` 用于 KV cache 量化，以减少 VRAM 使用。对于全精度，请使用 `--cache-type-k bf16 --cache-type-v bf16` .注意，在某些机器上，bf16 KV Cache 可能会稍微慢一点。
{% endhint %}

```bash
./llama.cpp/llama-server \
    --model unsloth/Qwen3.5-35B-A3B-GGUF/Qwen3.5-35B-A3B-UD-Q4_K_XL.gguf \
    --alias "unsloth/Qwen3.5-35B-A3B" \
    --temp 0.6 \\
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00 \
    --port 8001 \
    --kv-unified \
    --cache-type-k q8_0 --cache-type-v q8_0
```

{% hint style="success" %}
你还可以禁用 Qwen3.5 的思考功能，这可以提升 agentic 编程任务的性能。要在 llama.cpp 中禁用思考，请将以下内容添加到 llama-server 命令中：

`--chat-template-kwargs "{\"enable_thinking\": false}"`

<img src="/files/122fbec0dd1c1450b0f18c87633b0cabb192a69b" alt="" data-size="original">
{% endhint %}
{% endstep %}
{% endstepper %}

### 使用 llama-server 启动 Claude Code

{% hint style="success" %}
我们使用了 `unsloth/GLM-4.7-Flash-GGUF` ，但你可以使用任何类似的 `unsloth/Qwen3.6-27B-GGUF`.
{% endhint %}

{% hint style="warning" %}
参见 [#fixing-90-slower-inference-in-claude-code](#fixing-90-slower-inference-in-claude-code "mention") 首先修复开源模型因 KV Cache 失效而变慢 90% 的问题。
{% endhint %}

进入你的项目文件夹（`mkdir project ; cd project`）然后运行：

```bash
claude --model unsloth/GLM-4.7-Flash
```

要使用 Qwen3.6-35B-A3B，只需改成：

```bash
claude --model unsloth/Qwen3.6-35B-A3B
```

<div data-with-frame="true"><figure><img src="/files/9895a3039484599f93e699644a0bf20622f32921" alt="" width="563"><figcaption></figcaption></figure></div>

要将 Claude Code 设置为在没有任何审批的情况下执行命令，请这样做 **（注意：这会让 Claude Code 随意执行和运行代码，而无需任何审批！）**

{% code overflow="wrap" %}

```bash
claude --model unsloth/GLM-4.7-Flash --dangerously-skip-permissions
```

{% endcode %}

尝试使用以下提示来安装并运行一个简单的 Unsloth 微调：

{% code overflow="wrap" %}

```
你只能在 cwd project/ 中工作。不要搜索 CLAUDE.md——这就是它。通过 uv 在虚拟环境中安装 Unsloth。如果可能，请使用 `python -m venv unsloth_env` 然后 `source unsloth_env/bin/activate`。请查看 https://unsloth.ai/docs/get-started/install/pip-install 的方法（获取并阅读）。然后按照 https://github.com/unslothai/unsloth 中描述的内容做一次简单的 Unsloth 微调运行。你有 1 块 GPU 可用。
```

{% endcode %}

<div data-with-frame="true"><figure><img src="/files/a3431c9353badb6bb35de75882b82d4a13ca2b49" alt="" width="563"><figcaption></figcaption></figure></div>

等待一会儿后，Unsloth 将通过 uv 安装到 venv 中，并加载完成：

<div data-with-frame="true"><figure><img src="/files/6ba0cfee745ccd165528bf1db06ec5ad1ab35122" alt="" width="563"><figcaption></figcaption></figure></div>

最后你会看到一个使用 Unsloth 成功微调的模型！

<div data-with-frame="true"><figure><img src="/files/4e98c753b70b30afb88ce8604503bcf46e1229ba" alt="" width="563"><figcaption></figcaption></figure></div>

{% hint style="warning" %}
如果你看到 `无法连接到 API（ConnectionRefused）` ，请记得取消设置 `ANTHROPIC_BASE_URL` 通过 `unset ANTHROPIC_BASE_URL`

如果你发现开源模型慢了 90%， [先看这里](#fixing-90-slower-inference-in-claude-code) 来修复 KV cache 被失效的问题。
{% endhint %}

[^1]: 必须使用这个！


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:

```
GET https://unsloth.ai/docs/zh/ji-chu/claude-code.md?ask=<question>&goal=<endgoal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.