> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/claude-code.md).
# 如何使用 Claude Code 运行本地 LLM
在你的本地设备上使用 Claude Code 与开源模型的指南。
本分步指南将展示如何将开源 LLM 和 API 完全本地连接到 Claude Code，并附带截图。可使用任何开源模型运行，例如 Qwen3.6、DeepSeek 和 Gemma。
{% columns %}
{% column width="58.333333333333336%" %}
本教程将使用以下开源模型： [Gemma 4](/docs/zh/mo-xing/gemma-4.md) 和 [Qwen3.5](/docs/zh/mo-xing/qwen3.5.md) 它们是强大的智能体与编程模型（可在 24GB RAM/统一内存设备上运行）。
进行推理时，我们将使用 [Unsloth Desktop](https://github.com/unslothai/unsloth) 和 [`llama.cpp`](https://github.com/ggml-org/llama.cpp) 它让你能够在 macOS、Linux 和 Windows 上运行/部署 LLM。你也可以使用其他任何模型。对于模型量化文件，我们使用 Unsloth [动态 GGUF](/docs/zh/ji-chu-zhi-shi/dynamic-3.0-ggufs.md) 以在保留精度的同时运行任何量化 LLM。
{% endcolumn %}
{% column width="41.666666666666664%" %}
Claude Code 在本地运行 Qwen3.5。
Claude Code 设置 📖 本地模型设置教程
## :claude: Claude Code 设置
在设置本地 LLM 之前，我们需要先安装 Claude Code。Claude Code 是一个基于终端的编程智能体，能够理解你的代码库，并使用自然语言处理复杂的 Git 工作流。
{% tabs %}
{% tab title="macOS、Linux、WSL" %}
#### **安装 Claude Code：**
将以下内容粘贴到终端中以安装 Claude Code：
```bash
curl -fsSL https://claude.ai/install.sh | bash
```
安装完成后，导航到你的项目文件夹。然后输入 `claude` 到 `shell` 开始。
```bash
cd ~/projects/my-project
claude
```
{% endtab %}
{% tab title="Windows" %}
#### **安装 Claude Code：**
进入 `PowerShell` 以安装 Claude Code：
```powershell
irm https://claude.ai/install.ps1 | iex
```
安装完成后，导航到你的项目文件夹。然后输入 `claude` 到 `powershell` 开始。
cd /path/to/your/project
claude
{
"promptSuggestionEnabled": false,
"env": {
"CLAUDE_CODE_ENABLE_TELEMETRY": "0",
"CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC": "1",
CLAUDE_CODE_ATTRIBUTION_HEADER : 0
},
"attribution": {
"commit": "",
"pr": ""
},
"plansDirectory" : "./plans",
"prefersReducedMotion" : true,
"terminalProgressBarEnabled" : false,
"effortLevel" : "high"
}
连接 Claude Code 🦥 Unsloth 教程 llama.cpp 教程
## 🦥 Unsloth 教程
在本教程中，我们将通过 UI 使用……将本地模型提供/连接到 Claude Code，方法是使用 [Unsloth](https://github.com/unslothai/unsloth)。Unsloth 可在 Windows、WSL、Linux 和 macOS 上运行。
{% columns %}
{% column %}
* 搜索、下载， [运行 GGUF](/docs/zh/xin/studio.md#run-models-locally) 以及 safetensor 模型
* [**自我修复** 工具调用](/docs/zh/xin/studio.md#execute-code--heal-tool-calling) + **网页搜索**
* [**代码执行**](/docs/zh/xin/studio.md#run-models-locally) （Python、Bash）
* [自动推理](https://unsloth.ai/docs/desktop#feature-deep-dive) 参数选择（temp、top-p 等）
* 通过 llama.cpp 实现快速 CPU + GPU 推理
* [训练 LLM](/docs/zh/xin/studio.md#no-code-training) 速度提升 2 倍，VRAM 减少 70%
安装说明见下方：
{% endcolumn %}
{% column %}
Qwen3.6 2-bit 在 Unsloth 中运行的示例。
下载 Unsloth
* :apple: [下载 macOS 版本](https://unsloth.ai/download/mac)
* :windows: [下载 Windows 版本](https://unsloth.ai/download/windows)
* :linux: [下载 Linux 版本](https://unsloth.ai/download/linux)
或者，如果你更喜欢手动安装：
**MacOS、Linux、WSL：**
```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```
**Windows PowerShell：**
```bash
irm https://unsloth.ai/install.ps1 | iex
```
{% endstep %}
{% step %}
#### 安装
1. 打开 Unsloth 安装程序（`.dmg`, `.exe` 文件）
2. 在 Mac 上将 Unsloth 拖到 Applications，或在 Windows 上完成安装。
3. 启动应用并等待安装完成
{% endstep %}
{% step %}
#### 选择模型
打开顶部的“选择模型”下拉菜单或“模型中心”选项卡，选择适合你设备的模型和量化方式，然后下载。完成后就可以开始聊天——无需额外设置。
Claude Code 正在针对 Unsloth Studio 中加载的模型运行。
&goal=
```
`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
{% endhint %}
{% endstep %}
{% endstepper %}
### 使用 llama-server 启动 Claude Code
{% hint style="success" %}
我们使用了 `unsloth/GLM-4.7-Flash-GGUF` ，但你可以使用任何类似的 `unsloth/Qwen3.6-27B-GGUF`.
{% endhint %}
{% hint style="warning" %}
请先查看 [#fixing-90-slower-inference-in-claude-code](#fixing-90-slower-inference-in-claude-code "mention") ，先修复开源模型因 KV Cache 失效而慢 90% 的问题。
{% endhint %}
导航到你的项目文件夹（`mkdir project ; cd project`）并运行：
```bash
claude --model unsloth/GLM-4.7-Flash
```
要使用 Qwen3.6-35B-A3B，只需将其改为：
```bash
claude --model unsloth/Qwen3.6-35B-A3B
```
