> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/zh/ji-chu/claude-code.md).
# 如何使用 Claude Code 运行本地 LLM
在本地设备上使用 Claude Code 运行开源模型的指南。
这份分步指南将向你展示如何完全在本地将开源 LLM 和 API 连接到 Claude Code，并附带截图。可使用任何开源模型运行，例如 Qwen3.6、DeepSeek 和 Gemma。
{% columns %}
{% column width="58.333333333333336%" %}
在本教程中，我们将使用开放模型： [Gemma 4](/docs/zh/mo-xing/gemma-4.md) 和 [Qwen3.5](/docs/zh/mo-xing/qwen3.5.md) 它们是很强的智能体与编码模型（可在 24GB 内存/统一内存设备上运行）。
对于推理，我们将使用 [Unsloth Desktop](https://github.com/unslothai/unsloth) 和 [`llama.cpp`](https://github.com/ggml-org/llama.cpp) ，它可让你在 macOS、Linux 和 Windows 上运行/提供 LLM 服务。你也可以使用任何其他模型。对于模型量化，我们使用 Unsloth [动态 GGUF](/docs/zh/ji-chu/dynamic-3.0-ggufs.md) 来运行任何量化后的 LLM，同时保持准确性。
{% endcolumn %}
{% column width="41.666666666666664%" %}
在本地使用 Qwen3.5 运行的 Claude Code。
Claude Code 设置 📖 本地模型设置教程
## :claude: Claude Code 设置
在设置本地 LLM 之前，我们需要先安装 Claude Code。Claude Code 是一个基于终端的编码智能体，它能理解你的代码库，并使用自然语言处理复杂的 Git 工作流。
{% tabs %}
{% tab title="macOS、Linux、WSL" %}
#### **安装 Claude Code：**
将以下内容粘贴到你的终端中以安装 Claude Code：
```bash
curl -fsSL https://claude.ai/install.sh | bash
```
安装后，进入你的项目文件夹。然后输入 `claude` 到 `shell` 中开始。
```bash
cd ~/projects/my-project
claude
```
{% endtab %}
{% tab title="Windows" %}
#### **安装 Claude Code：**
进入 `PowerShell` 以安装 Claude Code：
```powershell
irm https://claude.ai/install.ps1 | iex
```
安装后，进入你的项目文件夹。然后输入 `claude` 到 `powershell` 中开始。
cd /path/to/your/project
claude
{
"promptSuggestionEnabled": false,
"env": {
"CLAUDE_CODE_ENABLE_TELEMETRY": "0",
"CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC": "1",
"CLAUDE_CODE_ATTRIBUTION_HEADER" : "0"
},
"attribution": {
"commit": "",
"pr": ""
},
"plansDirectory" : "./plans",
"prefersReducedMotion" : true,
"terminalProgressBarEnabled" : false,
"effortLevel" : "high"
}
连接 Claude Code 🦥 Unsloth 教程 llama.cpp 教程
## 🦥 Unsloth 教程
在本教程中，我们将通过使用 [Unsloth](https://github.com/unslothai/unsloth)，经由 UI 将本地模型托管/连接到 Claude Code。Unsloth 可在 Windows、WSL、Linux 和 macOS 上运行。
{% columns %}
{% column %}
* 搜索、下载、 [运行 GGUF](/docs/zh/xin/studio.md#run-models-locally) 和 safetensor 模型
* [**自我修复** 工具调用](/docs/zh/xin/studio.md#execute-code--heal-tool-calling) + **网页搜索**
* [**代码执行**](/docs/zh/xin/studio.md#run-models-locally) （Python、Bash）
* [自动推理](https://unsloth.ai/docs/desktop#feature-deep-dive) 参数选择（temp、top-p 等）
* 通过 llama.cpp 实现快速 CPU + GPU 推理
* [训练 LLM](/docs/zh/xin/studio.md#no-code-training) 速度提升 2 倍，VRAM 占用减少 70%
请参阅下方安装说明：
{% endcolumn %}
{% column %}
在 Unsloth 中运行 Qwen3.6 2-bit 的示例。
下载 Unsloth
* :apple: [下载 macOS 版](https://unsloth.ai/download/mac)
* :windows: [下载 Windows 版](https://unsloth.ai/download/windows)
* :linux: [下载 Linux 版](https://unsloth.ai/download/linux)
或者，如果你更喜欢手动安装：
**MacOS、Linux、WSL：**
```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```
**Windows PowerShell：**
```bash
irm https://unsloth.ai/install.ps1 | iex
```
{% endstep %}
{% step %}
#### 安装
1. 打开 Unsloth 安装程序（`.dmg`, `.exe` 文件）
2. 在 Mac 上将 Unsloth 拖到“应用程序”，或在 Windows 上完成设置。
3. 启动应用并等待安装完成
{% endstep %}
{% step %}
#### 选择模型
打开顶部的“选择模型”下拉菜单或“模型中心”选项卡，选择适合你设备的模型和量化版本，然后下载。完成后即可开始聊天——无需设置。
Claude Code 正在对 Unsloth Studio 中加载的模型运行。
&goal=
```
`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
{% endhint %}
{% endstep %}
{% endstepper %}
### 使用 llama-server 启动 Claude Code
{% hint style="success" %}
我们使用了 `unsloth/GLM-4.7-Flash-GGUF` ，但你可以使用任何类似的内容，例如 `unsloth/Qwen3.6-27B-GGUF`.
{% endhint %}
{% hint style="warning" %}
先查看 [#fixing-90-slower-inference-in-claude-code](#fixing-90-slower-inference-in-claude-code "mention") ，以修复因 KV Cache 失效导致的开源模型慢 90% 的问题。
{% endhint %}
进入你的项目文件夹（`mkdir project ; cd project`）并运行：
```bash
claude --model unsloth/GLM-4.7-Flash
```
要使用 Qwen3.6-35B-A3B，只需将其改为：
```bash
claude --model unsloth/Qwen3.6-35B-A3B
```
