> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/jp/ji-chu/claude-code.md).

# Claude CodeでローカルLLMを実行する方法

ローカルデバイスでClaude Codeを使ってオープンモデルを利用するためのガイド。

このステップごとのガイドでは、スクリーンショット付きで、オープンなLLMとAPIをClaude Codeに完全にローカルで接続する方法を紹介します。Qwen3.6、DeepSeek、Gemmaなどの任意のオープンモデルで実行できます。

{% columns %}
{% column width="58.333333333333336%" %}
このチュートリアルでは、次のオープンモデルを使います: [Gemma 4](/docs/jp/moderu/gemma-4.md) および [Qwen3.5](/docs/jp/moderu/qwen3.5.md) これらは、エージェント用途とコーディング用途に強力なモデルです（24GB RAM/ユニファイドメモリ搭載デバイスで動作します）。

推論には、 [Unsloth Desktop](https://github.com/unslothai/unsloth) および [`llama.cpp`](https://github.com/ggml-org/llama.cpp) を使います。これはmacOS、Linux、WindowsでLLMを実行/提供できるようにします。ほかのモデルも使用できます。モデルの量子化版には、Unslothを利用します。 [Dynamic GGUF](/docs/jp/ji-chu/dynamic-3.0-ggufs.md) これにより、精度を保ちながら、任意の量子化LLMを実行できます。
{% endcolumn %}

{% column width="41.666666666666664%" %}

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FpXE6kCHjh8qOEaggf94M%2FScreenshot_20260718_122426.png?alt=media&amp;token=a59e4c8c-efdb-451b-b1f8-621955564f6d" alt=""><figcaption><p>Qwen3.5をローカルで実行しているClaude Code。</p></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

<a href="/docs/jp/ji-chu/claude-code.md#claude-code-setup" class="button primary" data-icon="claude">Claude Codeのセットアップ</a><a href="/docs/jp/ji-chu/claude-code.md#quickstart-tutorials" class="button primary">📖 ローカルモデル設定チュートリアル</a>

## <i class="fa-claude">:claude:</i> Claude Codeのセットアップ

ローカルLLMを設定する前に、Claude Codeをインストールする必要があります。Claude Codeは、コードベースを理解し、自然言語を使って複雑なGitワークフローを処理するターミナルベースのコーディングエージェントです。

{% tabs %}
{% tab title="macOS、Linux、WSL" %}

#### **Claude Codeをインストールするには：**

Claude Codeをインストールするために、ターミナルに貼り付けてください：

```bash
curl -fsSL https://claude.ai/install.sh | bash
```

インストール後、プロジェクトフォルダに移動します。次に `claude` を `シェル` に入力して開始します。

```bash
cd ~/projects/my-project 
claude
```

{% endtab %}

{% tab title="環境なら" %}

#### **Claude Codeをインストールするには：**

以下に入って `PowerShell` でClaude Codeをインストールします：

```powershell
irm https://claude.ai/install.ps1 | iex
```

インストール後、プロジェクトフォルダに移動します。次に `claude` を `powershell` に入力して開始します。

<pre class="language-powershell"><code class="lang-powershell"><strong>cd /path/to/your/project
</strong>claude
</code></pre>

<div data-with-frame="true"><figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F49Pt77DNcx9d50uwiXWy%2Fimage.png?alt=media&amp;token=f1561255-861b-481d-9c75-824d5bf297a7" alt="" width="563"><figcaption></figcaption></figure></div>
{% endtab %}
{% endtabs %}

### :detective:Claude Codeの推論が90%遅くなる問題の修正

{% hint style="warning" %}
最近のClaude Codeは、Claude Code Attributionヘッダーを先頭に追加しますが、これは **KVキャッシュを無効化してしまい、ローカルモデルでの推論を90%遅くします**.
{% endhint %}

この属性情報は、 **システムプロンプトの先頭** (`x-anthropic-billing-header: cc_version=...; cch=...;`）に追加される1行で、その値はリクエストごとに変わるため、プロンプト先頭全体が毎回KVキャッシュにヒットしません。

最も簡単な修正方法は、Claude Codeを起動するときにインラインで無効化することで、編集するファイルは不要です：

{% code overflow="wrap" %}

```bash
claude --settings '{"env":{"CLAUDE_CODE_ATTRIBUTION_HEADER":"0","CLAUDE_CODE_ENABLE_TELEMETRY":"0"}}' --model unsloth/gemma-4-26B-A4B-it-GGUF
```

{% endcode %}

{% hint style="info" %}
最近のClaude Codeリリースでも `export CLAUDE_CODE_ATTRIBUTION_HEADER=0`を認識します。古いビルドではシェル変数が無視されるため、 `--settings` 上記の形式（または下の設定ファイル）が確実な方法です。
{% endhint %}

永続化するには、 `CLAUDE_CODE_ATTRIBUTION_HEADER` を0に設定して `"env"` で `~/.claude/settings.json`に追加します。たとえば、次を実行します： `cat > ~/.claude/settings.json` その後、下の内容を追加します（貼り付けたらENTERを押してからCTRL+Dで保存します）。以前の `~/.claude/settings.json` ファイルがある場合は、 `"CLAUDE_CODE_ATTRIBUTION_HEADER" : "0"` を"env"セクションに追加し、設定ファイルの他の部分は変更しないでください。

<pre class="language-json"><code class="lang-json">{
  "promptSuggestionEnabled": false,
  "env": {
    "CLAUDE_CODE_ENABLE_TELEMETRY": "0",
    "CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC": "1",
    <a data-footnote-ref href="#user-content-fn-1">"CLAUDE_CODE_ATTRIBUTION_HEADER" : "0"</a>
  },
  "attribution": {
    "commit": "",
    "pr": ""
  },
  "plansDirectory" : "./plans",
  "prefersReducedMotion" : true,
  "terminalProgressBarEnabled" : false,
  "effortLevel" : "high"
}
</code></pre>

## 📖 クイックスタート チュートリアル

{% columns %}
{% column %}
始める前に、まず使用する特定のモデルのセットアップを完了する必要があります。ここでは [Unsloth](/docs/jp/shii/studio.md) （Web UI）と llama.cpp を使います。これらは、Mac、Linux、Windows デバイスで LLM を実行・提供するためのオープンソースフレームワークです。

Unsloth には独自の自己修復機能もあります [ツール呼び出し](/docs/jp/shii/studio/chat.md#auto-healing-tool-calling) および [ウェブ検索](/docs/jp/shii/studio/chat.md#code-execution) 機能があります。右側に、Unsloth に接続された Claude Code の例があります:
{% endcolumn %}

{% column %}

<div data-with-frame="true"><figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F1s98Id9xclzwMfxjXw2O%2Funsloth%20api%20cropped.png?alt=media&amp;token=64fac263-ca5b-4447-a740-41f58ec94904" alt=""><figcaption></figcaption></figure></div>
{% endcolumn %}
{% endcolumns %}

<a href="/docs/jp/ji-chu/claude-code.md#connect-claude-code" class="button primary" data-icon="claude">Claude Codeを接続する</a><a href="/docs/jp/ji-chu/claude-code.md#unsloth-tutorial" class="button primary">🦥 Unsloth チュートリアル</a><a href="https://unsloth.ai/docs/basics/claude-code#llama.cpp-tutorial" class="button primary"> llama.cppチュートリアル</a>

## 🦥 Unsloth チュートリアル

このチュートリアルでは、 [Unsloth](https://github.com/unslothai/unsloth)を使って、UI 経由でローカルモデルを Claude Code に提供・接続します。Unsloth は Windows、WSL、Linux、MacOS で動作します。

{% columns %}
{% column %}

* 検索、ダウンロード、 [GGUF の実行](/docs/jp/shii/studio.md#run-models-locally) および safetensor モデル
* [**自己修復** ツール呼び出し](/docs/jp/shii/studio.md#execute-code--heal-tool-calling) + **ウェブ検索**
* [**コード実行**](/docs/jp/shii/studio.md#run-models-locally) (Python、Bash)
* [自動推論](https://unsloth.ai/docs/desktop#feature-deep-dive) パラメータ選択（temp、top-pなど）
* llama.cpp 経由の高速 CPU + GPU 推論
* [LLM を学習](/docs/jp/shii/studio.md#no-code-training) VRAM を 70% 少なくしながら 2 倍高速

インストール手順は以下をご覧ください:
{% endcolumn %}

{% column %}

<div data-with-frame="true"><figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FY3nfB43TEk7k11zcE4wm%2Fthe%20big%20one.gif?alt=media&amp;token=335be087-7375-4f89-9039-71195ee44ab8" alt=""><figcaption><p>Unsloth で動作する Qwen3.6 2-bit の例。</p></figcaption></figure></div>
{% endcolumn %}
{% endcolumns %}

{% stepper %}
{% step %}

#### Unsloth をダウンロード

始める最も簡単な方法は、 [Unsloth Desktop](/docs/jp/desktop.md) アプリをインストールすることです。次をサポートしています [MacOS](/docs/jp/meru/install/mac.md)、Linux、 [環境なら](/docs/jp/meru/install/windows-installation.md), [NVIDIA](/docs/jp/meru/install/pip-install.md), [AMD](/docs/jp/meru/install/amd.md)、IntelおよびCPU構成。

<a href="https://unsloth.ai/download" class="button primary" data-icon="down-to-bracket">Unsloth をダウンロード</a>

* <i class="fa-apple">:apple:</i> [macOS 用をダウンロード](https://unsloth.ai/download/mac)
* <i class="fa-windows">:windows:</i> [Windows 用をダウンロード](https://unsloth.ai/download/windows)
* <i class="fa-linux">:linux:</i> [Linux 用をダウンロード](https://unsloth.ai/download/linux)

または、手動インストールを希望する場合：

**MacOS、Linux、WSL：**

```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```

**Windows PowerShell：**

```bash
irm https://unsloth.ai/install.ps1 | iex
```

{% endstep %}

{% step %}

#### インストール

1. Unslothのインストーラーを開き（`.dmg`, `.exe` ファイル）
2. MacではUnslothをApplicationsにドラッグし、Windowsではセットアップを完了します。
3. アプリを起動し、インストールが完了するのを待ちます
   {% endstep %}

{% step %}

#### モデルを選択

上部の「モデルを選択」ドロップダウンまたは「Model hub」タブを開き、デバイスに合うモデルと量子化を選んでからダウンロードします。完了したら、そのままチャットを開始できます。セットアップは不要です。

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FNCEVgKLJI0goPqjgcg9B%2Fmodel%20hub%20models.png?alt=media&amp;token=533b5e3c-a901-4b33-963e-4a703cc9d5a6" alt="" width="563"><figcaption></figcaption></figure>
{% endstep %}

{% step %}

#### Unsloth の準備ができました

チャットを始めるには、メッセージを入力してEnterキーを押します。

* **ツールを接続:** [Claude Code](/docs/jp/ji-chu/claude-code.md), [Codex](/docs/jp/ji-chu/codex.md)、Web 検索、 [MCP](/docs/jp/ji-chu/mcp.md) など
* **モデルを学習:** テキスト、拡散、埋め込みなどをファインチューニング
* **メディアを生成:** 画像、動画、TTS をローカルで作成・学習

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FpAGvwjGD0iVMZKBoyu7m%2Fgreeennn.png?alt=media&amp;token=d17a5528-8375-444c-9aff-f9e9f7903bcd" alt="" width="563"><figcaption></figcaption></figure>
{% endstep %}
{% endstepper %}

### モデル読み込み + API ガイド

{% stepper %}
{% step %}

#### モデルを選択

API を使う前に、 **モデル選択** のドロップダウンからモデルを読み込みます。これは Chat ページの左上にあります。

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FuZqd6tcZ5LgMSh4ZND5x%2Fexport-1778505117710-24fps.gif?alt=media&amp;token=9defec95-5404-4654-9c33-67be967c9820" alt=""><figcaption></figcaption></figure>

このガイドでは次を使います: `unsloth/gemma-4-26B-A4B-it-GGUF` 推奨される `UD-Q4_K_XL` 量子化を使用します。
{% endstep %}

{% step %}

#### モデルをテスト

Client を使う前に、短いメッセージを送ってください:

<div data-with-frame="true"><figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F2Ivilke0aJX8AHWDwSmr%2Fimage.png?alt=media&amp;token=9f9380b9-f963-4861-a17b-fd0fe16684d4" alt="" width="563"><figcaption></figcaption></figure></div>

{% hint style="info" %}
これで、モデルが正しく読み込まれ、応答できる状態であることが確認できます。
{% endhint %}
{% endstep %}

{% step %}

#### **Unsloth API キー**

Unsloth で **Settings → API** APIキーを表示または作成します。

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FAZwaRmBVPpXA2SFhMGW9%2Fexport-1778506924396-30fps.gif?alt=media&amp;token=96f3f1a7-fce4-4508-b1b0-e8b6294dc423" alt=""><figcaption></figcaption></figure>

として表示されます。API キーはパスワードのように扱い、スクリーンショットやリポジトリに露出させないようにしてください。
{% endstep %}
{% endstepper %}

## ⚙️ Claude Codeを接続

ローカルLLMをClaude Code用にセットアップしたので、次はClaude Codeがあなたのツールで動作するように設定します。簡単に接続することもできますし、 `unsloth start` 以下を使うか、あるいは [手動で](#connect-manually).

### ⚡ でClaude Codeを実行 `unsloth start`

Claudeをモデルと直接起動するには、次を実行します：

```bash
unsloth start claude \
    --model unsloth/Qwen3.8-27B-GGUF-GGUF:UD-Q4_K_XL
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.0 \
    --reasoning-effort medium
```

{% hint style="success" %}
設定やサンプリングフラグが何も設定されていない場合、Unsloth はコンテキスト長、temperature などを含め、そのモデルに最適な推奨設定を自動的に選択します。
{% endhint %}

Unsloth Studioにモデルを読み込んだ状態で、プロジェクトフォルダを開いて次を実行します：

```bash
unsloth start claude
```

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FB1CAedMQxexmFjLLLG5A%2FScreenshot_20260714_151401.png?alt=media&amp;token=c7badb92-b565-467d-bd90-35f8fba44f29" alt="Claude Code connected to a local model through Unsloth Studio"><figcaption><p>Unsloth Studioに読み込まれたモデルに対して動作しているClaude Code。</p></figcaption></figure>

この起動では、Unslothがローカルエンドポイント、APIキー、モデル、コンテキスト長を設定します。通常のClaude Code設定はそのままです。

Claude Codeは会話を通常のセッションストアに保持しているので、 `--persist` は必要ありません。最新のセッションを続けるには：

```bash
unsloth start claude --continue
```

完全な `unsloth start` コマンドライン、リモートUnslothサーバー、詳細オプションからモデルを読み込むためのリファレンスです。

このガイドの残りでは、手動での `llama.cpp` セットアップを説明します。

#### 🔌 手動で接続

手動で設定したい場合は、まず次の環境変数を設定できます。これらの変数は、デフォルトではセッション間で保持されません。

{% tabs %}
{% tab title="MacOS、Linux、WSL" %}
**設定：** ローカルAPIのURLを設定します：

```bash
export ANTHROPIC_BASE_URL="http://localhost:8888"
```

Unsloth Studio → Settings → APIからキーをコピーするか、起動時のコンソールからコピーして（ `unsloth run`で表示され、 `sk-unsloth-...`として出力されます）、それを設定します。

{% code overflow="wrap" %}

```bash
export ANTHROPIC_AUTH_TOKEN="sk-unsloth-xxxxxxxxxxxx"
```

{% endcode %}

また、空の `ANTHROPIC_API_KEY` も設定して、Claude Codeがクラウドキーを要求しないようにします：

```bash
export ANTHROPIC_API_KEY=""
```

任意：現在Unslothに読み込まれているモデル名をデフォルトとして使用します。

```bash
export ANTHROPIC_MODEL="unsloth/gemma-4-26B-A4B-it-GGUF"
```

完全なモデルIDは、 `GET http://localhost:8888/v1/models` で表示されるまったく同じ文字列を使用してください（ `claude --model`).
{% endtab %}

{% tab title="環境なら" %}
**設定：** PowerShellでローカルAPIのURLを設定します：

```powershell
$env:ANTHROPIC_BASE_URL = "http://localhost:8888"
```

からキーをコピーして **Unsloth Studio → Settings → API**、それを設定します：

```powershell
$env:ANTHROPIC_AUTH_TOKEN = "sk-unsloth-xxxxxxxxxxxx"
```

**任意：** 現在Unslothに読み込まれているモデル名を既定値として設定します。

```powershell
$env:ANTHROPIC_MODEL = "gemma-4-26B-A4B-it-GGUF"
```

{% hint style="info" %}
モデル名は、現在Unsloth Studioに読み込まれているモデルである必要があります。
{% endhint %}
{% endtab %}
{% endtabs %}

### Claude Codeを起動する

現在Unslothに読み込まれているモデルでClaude Codeを起動します。

ここでは `gemma-4-26B-A4B-it-GGUF`を使用しますが、Unsloth互換の任意のモデルを使えます。

```shellscript
claude --model unsloth/gemma-4-26B-A4B-it-GGUF
```

{% hint style="info" %}
ローカルモデルをさらに高速化したい場合は、 `--bare --exclude-dynamic-system-prompt-sections`でも起動できます。以下の「任意：システムプロンプトを縮小する」を参照してください。
{% endhint %}

Claude Codeが選択したモデルを開いて表示するはずです。

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FilIbwzXF5WyEzHSTzNgj%2Fimage.png?alt=media&amp;token=0dcd2039-3bf5-4e73-b761-a73b28543d3b" alt=""><figcaption></figcaption></figure>

{% hint style="warning" %}
まず [#fixing-90-slower-inference-in-claude-code](#fixing-90-slower-inference-in-claude-code "mention") を見て、KVキャッシュの無効化によってオープンモデルが90%遅くなる問題を修正してください。
{% endhint %}

高品質なSFTデータセットを調査してランク付けするために、このプロンプトを試してください：

{% code overflow="wrap" %}

```
project/内でのみ作業できます。CLAUDE.mdを探さないでください — ここにあります。Hugging Face上の実際のinstruction/chat/SFTデータセットを10個、web検索で見つけ、調査結果を簡潔に要約し、調査しながら各データセットがSFTに適している理由を説明してください。その後、sft_report.mdを、順位、データセット名、作成者、関連タグ3〜5個、短い平易な英語の要約、そしてSFTに役立つ理由を含む、洗練されたMarkdownレポートとして作成してください。巨大なメタデータのダンプ、貼り付けた生の説明、過剰に長いタグ一覧、無関係なデータセットは含めず、すべて簡潔で読みやすくしてください。sft_report.mdに10件のきれいでよく書かれたデータセット項目が入った時点でタスクは完了です。最後は次で締めてください： “Successfully finetuned a model with Unsloth!”
```

{% endcode %}

プロンプトを送信すると、エージェントがWebを検索し、結果を評価し、最終レポートを書きます。これには数分かかる場合があります。

ワークフローによっては、アクションの承認や追加プロンプトへの回答が必要になる場合があります。

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F1YVUcdNbQoPtje5RbbBp%2Fimage.png?alt=media&amp;token=c12e8f31-2698-41be-ab71-17f093f75b0c" alt="" width="563"><figcaption></figcaption></figure>

{% hint style="info" %}
ワークフローによっては、アクションの承認やフォローアッププロンプトへの回答が必要になる場合があります。
{% endhint %}

完了すると、生成された `sft_report.md` はこのように見えるはずです。

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FWRvFItbYmBXgxebQKL8e%2Fimage.png?alt=media&amp;token=c0196814-5dc7-4c43-a2cc-29721704dff4" alt="" width="375"><figcaption></figcaption></figure>

{% hint style="warning" %}
もし `APIに接続できません（ConnectionRefused）` と表示されたら、必ず `ANTHROPIC_BASE_URL` を `unset ANTHROPIC_BASE_URL`

で解除してください。 [まずこちらを参照](#fixing-90-slower-inference-in-claude-code) してKVキャッシュの無効化を修正してください。
{% endhint %}

### 任意：システムプロンプトを縮小する

Claude CodeはAnthropicのホスト型モデル向けに作られているため、デフォルトのシステムプロンプトは大きくなっています。ローカルモデルでは、起動時に2つのフラグを追加することで、応答を高速化し、KVキャッシュの再利用を改善するためにこれを削減できます：

{% code overflow="wrap" %}

```shellscript
claude --model unsloth/gemma-4-26B-A4B-it-GGUF --bare --exclude-dynamic-system-prompt-sections
```

{% endcode %}

{% hint style="info" %}
`--bare` は、hooks、skills、plugins、MCPサーバー、CLAUDE.mdの自動検出をスキップします（ClaudeはBashとファイルの読み書き/編集は維持します）。そして `--exclude-dynamic-system-prompt-sections` は、マシンごとのセクションをプロンプト先頭から外します。どちらもプロンプトを短くし、KVキャッシュの再利用を改善するため、ローカルモデルは目に見えて高速になります。これらは任意であり、上記の接続設定は変更しません。
{% endhint %}

### 任意：Unslothサーバーを調整する

Claude CodeはUnslothで動作しているモデルを使用します。起動時にサーバーの動作をカスタマイズできます。

```bash
# コーディングエージェント向けに提供：--disable-tools はエージェント自身のツールを通します
unsloth run \\
  --model unsloth/gemma-4-26B-A4B-it-GGUF:UD-Q4_K_XL \
  --disable-tools \\
  --reasoning off \\
  -p 8888
```

{% hint style="warning" %}
使用します `--disable-tools` Claude Code（または任意の外部コーディングエージェント）を動かすときに使用します。デフォルトでは、Unsloth Studioは独自のサーバー側ツールを実行し、エージェントのツール呼び出しを吸収してしまうため、Claude Codeは応答するだけでファイルを編集しません。 `--disable-tools` パススルーに切り替わるため、Claude Code自身のWrite/Edit/Bashツールが使われます。
{% endhint %}

使用します `--reasoning off` で思考をオフにするか、 `--reasoning on` で、推論をサポートするモデルではオンにします。

```bash
# APIをローカルネットワークに公開する
unsloth run \\
  --model unsloth/gemma-4-26B-A4B-it-GGUF:UD-Q4_K_XL \
  -H 0.0.0.0 \\
  -p 8888
```

これによりサーバーは `0.0.0.0:8888`で起動し、ローカルネットワーク上の他のデバイスが接続できるようになります。

使用します `-p` サーバーが実行されるポートを変更します。 `-H 0.0.0.0` を使えば、ネットワーク上のスマホ、ノートPC、その他のデバイスから接続できます。

より高度なランタイム設定については、メインの [APIの調整](https://unsloth.ai/docs/basics/api#unsloth-run-command) セクションを参照してください。

## 🦙 Llama.cpp チュートリアル

始める前に、まず使用する特定のモデルのセットアップを完了する必要があります。ここでは `llama.cpp` Mac、Linux、Windowsなどのデバイス上でLLMを実行するためのオープンソースフレームワークです。Llama.cppには `llama-server` が含まれており、LLMを効率的に提供・展開できます。モデルはポート8001で提供され、すべてのエージェントツールは1つのOpenAI互換エンドポイントを通じてルーティングされます。

#### Qwen3.5チュートリアル

使用するのは [Qwen3.5](/docs/jp/moderu/qwen3.5.md)-35B-A3Bと、高速で正確なコーディングタスク向けの特定の設定です。VRAMが足りず、 **より賢い** モデルが欲しい場合は、 **Qwen3.5-27B** が良い選択ですが、約2倍遅くなります。あるいは9B、4B、2Bなどの他のQwen3.5系バリアントも使えます。

{% hint style="info" %}
より **より賢い** モデルが欲しい場合、またはVRAMが不足している場合は、Qwen3.5-27Bを使ってください。ただし35B-A3Bより約2倍遅くなります。あるいは [**Qwen3-Coder-Next**](/docs/jp/moderu/qwen3-coder-next.md) を使うこともできます。VRAMが十分あれば非常に優れています。
{% endhint %}

{% stepper %}
{% step %}

#### llama.cpp をインストールする

インストールする必要があります `llama.cpp` をClaude Codeなどで使うローカルLLMの展開/提供に使用します。正しいGPUバインディングと最大性能のため、公式のビルド手順に従います。変更してください `-DGGML_CUDA=ON` を `-DGGML_CUDA=OFF` に変更してください。GPU がない場合、または CPU 推論だけをしたい場合です。 **Apple Mac / Metal デバイスでは**、 `-DGGML_CUDA=OFF` を設定し、その後は通常通り続けてください - Metal サポートはデフォルトで有効です。

```bash
apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev git-all -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp
```

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F4DmycqgjxOz6TOQd9PLJ%2Fimage.png?alt=media&amp;token=c94db0b5-8e4a-4043-b2a3-c68bad93213e" alt="" width="563"><figcaption></figcaption></figure>
{% endstep %}

{% step %}

#### モデルをダウンロードしてローカルで使用する

モデルをダウンロードするには `huggingface_hub` をPythonで使います（ `pip install huggingface_hub hf_transfer`）。次を使用します **UD-Q4\_K\_XL** 最適なサイズ／精度バランスのための量子化です。すべての Unsloth GGUF アップロードは次で見つけられます [こちらのコレクション](/docs/jp/meru/unsloth-model-catalog.md)。ダウンロードが止まる場合は、次を参照してください [Hugging Face Hub、XET のデバッグ](/docs/jp/ji-chu/troubleshooting-and-faqs/hugging-face-hub-xet-debugging.md)

```bash
hf download unsloth/Qwen3.5-35B-A3B-GGUF \
    --local-dir unsloth/Qwen3.5-35B-A3B-GGUF \
    --include "*UD-Q4_K_XL*" # Dynamic 2bitには"*UD-Q2_K_XL*"を使用
```

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FRfXofrNzl1ypjfMTz15o%2Fimage.png?alt=media&amp;token=8009de90-cd11-46ed-85b5-fca5c07b66fc" alt=""><figcaption></figcaption></figure>

{% hint style="success" %}
私たちは `unsloth/Qwen3.5-35B-A3B-GGUF` を使いますが、27Bなど別バリアントや、 `unsloth/`[`Qwen3-Coder-Next`](/docs/jp/moderu/qwen3-coder-next.md)`-GGUF`.
{% endhint %}

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FxlIrQGQ0cevb1ckkSFy5%2Fimage.png?alt=media&amp;token=b1a42562-927a-4ad2-85f8-29c2993c46aa" alt="" width="563"><figcaption></figcaption></figure>
{% endstep %}

{% step %}

#### Llama-server を起動する

Qwen3.5をエージェント用途のワークロードに展開するには、 `llama-server`を使います。 [Qwen推奨のサンプリングパラメータ](/docs/jp/moderu/qwen3.5.md#recommended-settings) を適用します。 `temp 0.6`, `top_p 0.95` , `top-k 20`。これらの数値は、thinkingモード以外や他のタスクでは変わることに注意してください。

このコマンドを新しい端末で実行してください（次を使用: `tmux` または新しい端末を開いてください）。以下は **24GB GPU（RTX 4090）にぴったり収まります（23GB使用）** `--fit on` は自動オフロードも行いますが、性能が悪い場合は次を減らしてください `--ctx-size` .

{% hint style="info" %}
私たちは `--cache-type-k q8_0 --cache-type-v q8_0` メモリ使用量を減らすためのKVキャッシュ量子化に使用します。フル精度の場合は、 `--cache-type-k bf16 --cache-type-v bf16` を使用してください。注意：bf16 KVキャッシュは一部のマシンで少し遅くなる場合があります。
{% endhint %}

```bash
./llama.cpp/llama-server \\
    --model unsloth/Qwen3.5-35B-A3B-GGUF/Qwen3.5-35B-A3B-UD-Q4_K_XL.gguf \
    --alias "unsloth/Qwen3.5-35B-A3B" \
    --temp 0.6 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00 \
    --port 8001 \\
    --kv-unified \\
    --cache-type-k q8_0 --cache-type-v q8_0
```

{% hint style="success" %}
Qwen3.5ではthinkingを無効にすることもでき、エージェント的なコーディング作業の性能を改善できます。llama.cppでthinkingを無効にするには、llama-serverコマンドに次を追加します：

`--chat-template-kwargs "{\"enable_thinking\": false}"`

<img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F373wtRRbMcobtjV5e6xf%2Fkerkekke.png?alt=media&amp;token=2cd3b8c7-93b6-41cb-8bce-41f1aee819eb" alt="" data-size="original">
{% endhint %}
{% endstep %}
{% endstepper %}

### llama-serverでClaude Codeを起動する

{% hint style="success" %}
私たちは `unsloth/GLM-4.7-Flash-GGUF` 、ただし次のようなものなら何でも使えます `unsloth/Qwen3.6-27B-GGUF`.
{% endhint %}

{% hint style="warning" %}
まず [#fixing-90-slower-inference-in-claude-code](#fixing-90-slower-inference-in-claude-code "mention") を見て、KVキャッシュの無効化によってオープンモデルが90%遅くなる問題を修正してください。
{% endhint %}

プロジェクトフォルダへ移動し（`mkdir project ; cd project`）、次を実行します：

```bash
claude --model unsloth/GLM-4.7-Flash
```

Qwen3.6-35B-A3Bを使うには、単に次のように変更します：

```bash
claude --model unsloth/Qwen3.6-35B-A3B
```

<div data-with-frame="true"><figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fnyc5BnXQiXPRZnyuYZt3%2Fimage.png?alt=media&amp;token=72011cb6-abed-4a41-99b0-104ef5d0111f" alt="" width="563"><figcaption></figcaption></figure></div>

承認なしでコマンドを実行するようClaude Codeを設定するには、次を実行します **（注意：これにより、Claude Codeは承認なしで好きなようにコードを実行・処理するようになります！）**

{% code overflow="wrap" %}

```bash
claude --model unsloth/GLM-4.7-Flash --dangerously-skip-permissions
```

{% endcode %}

シンプルな Unsloth のファインチューニングをインストールして実行するには、このプロンプトを試してください:

{% code overflow="wrap" %}

```
cwdのproject/内でのみ作業できます。CLAUDE.mdを探さないでください - ここにあります。uvを使って仮想環境経由でUnslothをインストールしてください。可能なら`python -m venv unsloth_env`の後に`source unsloth_env/bin/activate`を使ってください。方法はhttps://unsloth.ai/docs/get-started/install/pip-install を見て読んでください。その後、https://github.com/unslothai/unsloth にある簡単なUnslothのファインチューニング実行を行ってください。GPUは1枚使えます。
```

{% endcode %}

<div data-with-frame="true"><figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FBkpEsVssYZG9wHvvWMRH%2Fimage.png?alt=media&amp;token=e1a8283f-49ed-4b78-8052-d8970f069d5b" alt="" width="563"><figcaption></figcaption></figure></div>

少し待つと、Unslothがuv経由でvenvにインストールされ、読み込まれます：

<div data-with-frame="true"><figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FHATFwDrR1gP44XFbzWcv%2Fimage.png?alt=media&amp;token=6ff63733-686d-4b08-bdd5-66a6fa4aa34c" alt="" width="563"><figcaption></figcaption></figure></div>

そして最後に、Unslothで正常にファインチューニングされたモデルが表示されます！

<div data-with-frame="true"><figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FZjQ6askaixcYOMrr2qMi%2Fimage.png?alt=media&amp;token=e0e0047d-b6a2-421f-a86b-68e093a3a17a" alt="" width="563"><figcaption></figcaption></figure></div>

{% hint style="warning" %}
もし `APIに接続できません（ConnectionRefused）` と表示されたら、必ず `ANTHROPIC_BASE_URL` を `unset ANTHROPIC_BASE_URL`

で解除してください。 [まずこちらを参照](#fixing-90-slower-inference-in-claude-code) してKVキャッシュの無効化を修正してください。
{% endhint %}

[^1]: これを使う必要があります！


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://unsloth.ai/docs/jp/ji-chu/claude-code.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
