> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/jp/ji-ben/claude-code.md).

# Claude Code でローカル LLM を実行する方法

このステップバイステップガイドでは、オープンなLLMとAPIをClaude Codeに完全にローカルで接続する方法を、スクリーンショット付きで説明します。Qwen3.6、DeepSeek、Gemmaなど、任意のオープンモデルで実行できます。

このチュートリアルでは、次のオープンモデルを使用します: [Gemma 4](/docs/jp/moderu/gemma-4.md) と [Qwen3.5](/docs/jp/moderu/qwen3.5.md) これらは強力なエージェント系・コーディング系モデルです（24GB RAM/ユニファイドメモリのデバイスで動作します）。推論には [Unsloth Studio](https://github.com/unslothai/unsloth) と [`llama.cpp`](https://github.com/ggml-org/llama.cpp) を使用して、macOS、Linux、Windows上でLLMを実行/提供できます。 [任意の他のモデル](/docs/jp/moderu/tutorials.md)に差し替えることもでき、スクリプト内のモデル名を更新するだけです。

<a href="/pages/ee610b22aa43d29d8415fd27eb7de15ba88f7385#claude-code-setup" class="button primary" data-icon="claude">Claude Codeのセットアップ</a><a href="/pages/ee610b22aa43d29d8415fd27eb7de15ba88f7385#quickstart-tutorials" class="button primary">📖 ローカルモデル設定チュートリアル</a>

モデルの量子化には、Unslothの [Dynamic GGUF](/docs/jp/ji-ben/unsloth-dynamic-2.0-ggufs.md) を利用し、できるだけ精度を保ったまま任意のLLMを実行します。

## <i class="fa-claude">:claude:</i> Claude Codeのセットアップ

ローカルLLMをセットアップする前に、Claude Codeをインストールする必要があります。Claude Codeはターミナルベースのコーディングエージェントで、コードベースを理解し、自然言語を使って複雑なGitワークフローを処理します。

{% tabs %}
{% tab title="macOS、Linux、WSL" %}

#### **Claude Codeをインストール:**

Claude Codeをインストールするには、ターミナルに貼り付けてください:

```bash
curl -fsSL https://claude.ai/install.sh | bash
```

インストール後、プロジェクトフォルダに移動し、次を入力します `claude` を `シェル` で実行して開始します。

```bash
cd ~/projects/my-project 
claude
```

{% endtab %}

{% tab title="Windows" %}

#### **Claude Codeをインストール:**

次を入力して `PowerShell` でClaude Codeをインストールします:

```powershell
irm https://claude.ai/install.ps1 | iex
```

インストール後、プロジェクトフォルダに移動し、次を入力します `claude` を `powershell` で実行して開始します。

<pre class="language-powershell"><code class="lang-powershell"><strong>cd /path/to/your/project
</strong>claude
</code></pre>

<div data-with-frame="true"><figure><img src="/files/6446d4b7e2f6a4d22ac7d089f2f5ec725b1dd8ce" alt="" width="563"><figcaption></figcaption></figure></div>
{% endtab %}
{% endtabs %}

### :detective:Claude Codeで推論が90%遅くなる問題の修正

{% hint style="warning" %}
Claude Codeは最近、Claude Code Attributionヘッダーを前置・追加するようになりました。これは **KVキャッシュを無効化し、ローカルモデルでの推論を90%遅くします**.
{% endhint %}

このアトリビューションは、 **システムプロンプトの先頭** (`x-anthropic-billing-header: cc_version=...; cch=...;`）に前置される行で、その値はリクエストごとに変わるため、プロンプト接頭辞全体が毎ターンKVキャッシュにヒットしません。

最も簡単な修正方法は、Claude Codeを起動する際にインラインで無効化することで、編集するファイルは不要です:

{% code overflow="wrap" %}

```bash
claude --settings '{"env":{"CLAUDE_CODE_ATTRIBUTION_HEADER":"0","CLAUDE_CODE_ENABLE_TELEMETRY":"0"}}' --model unsloth/gemma-4-26B-A4B-it-GGUF
```

{% endcode %}

{% hint style="info" %}
最近のClaude Codeリリースは `export CLAUDE_CODE_ATTRIBUTION_HEADER=0`にも対応しています。古いビルドではシェル変数が無視されるため、 `--settings` の形式（または下の設定ファイル）が確実です。
{% endhint %}

永続化するには、 `CLAUDE_CODE_ATTRIBUTION_HEADER` を0に設定して `"env"` の中に追加し、 `~/.claude/settings.json`に入れます。たとえば次のようにします: `cat > ~/.claude/settings.json` そのあと以下を追加します（貼り付け後、ENTERを押してからCTRL+Dで保存します）。既存の `~/.claude/settings.json` ファイルがある場合は、 `"CLAUDE_CODE_ATTRIBUTION_HEADER" : "0"` を"env"セクションに追加するだけで、設定ファイルの残りはそのままにしてください。

<pre class="language-json"><code class="lang-json">{
  "promptSuggestionEnabled": false,
  "env": {
    "CLAUDE_CODE_ENABLE_TELEMETRY": "0",
    "CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC": "1",
    <a data-footnote-ref href="#user-content-fn-1">"CLAUDE_CODE_ATTRIBUTION_HEADER" : "0"</a>
  },
  "attribution": {
    "commit": "",
    "pr": ""
  },
  "plansDirectory" : "./plans",
  "prefersReducedMotion" : true,
  "terminalProgressBarEnabled" : false,
  "effortLevel" : "high"
}
</code></pre>

## 📖 クイックスタートチュートリアル

{% columns %}
{% column %}
始める前に、まず使用する特定のモデルのセットアップを完了する必要があります。 [Unsloth](/docs/jp/xin-zhe/studio.md) （Web UI）とllama.cppを使用します。これはMac、Linux、Windowsのデバイス上でLLMを実行・提供するためのオープンソースのフレームワークです。

Unslothには独自の自己修復 [ツール呼び出し](/docs/jp/xin-zhe/studio/chat.md#auto-healing-tool-calling) と [Web 検索](/docs/jp/xin-zhe/studio/chat.md#code-execution) 機能もあります。右側では、Claude CodeがUnslothに接続されている様子を示しています:
{% endcolumn %}

{% column %}

<div data-with-frame="true"><figure><img src="/files/77e863c5bd956050b90ee75739b6a07e63ef9f71" alt=""><figcaption></figcaption></figure></div>
{% endcolumn %}
{% endcolumns %}

<a href="/pages/ee610b22aa43d29d8415fd27eb7de15ba88f7385#connect-claude-code" class="button primary" data-icon="claude">Claude Codeを接続</a><a href="/pages/ee610b22aa43d29d8415fd27eb7de15ba88f7385#unsloth-tutorial" class="button primary">🦥 Unslothチュートリアル</a><a href="/pages/ee610b22aa43d29d8415fd27eb7de15ba88f7385#llama.cpp-tutorial" class="button primary"> llama.cppチュートリアル</a>

## 🦥 Unslothチュートリアル

このチュートリアルでは、 [Unsloth](https://github.com/unslothai/unsloth)を使ってUI経由でClaude Codeにローカルモデルを提供・接続します。UnslothはWindows、WSL、Linux、MacOSで動作します。&#x20;

{% columns %}
{% column %}

* 検索、ダウンロード、 [GGUF を実行](/docs/jp/xin-zhe/studio.md#run-models-locally) および safetensor モデル
* [**自己修復** ツール呼び出し](/docs/jp/xin-zhe/studio.md#execute-code--heal-tool-calling) + **Web 検索**
* [**コード実行**](/docs/jp/xin-zhe/studio.md#run-models-locally) （Python、Bash）
* [自動推論](/docs/jp/xin-zhe/studio.md#model-arena) パラメータ選択（temp、top-pなど）
* llama.cpp による高速 CPU + GPU 推論
* [LLM を学習](/docs/jp/xin-zhe/studio.md#no-code-training) VRAM を70%削減しつつ2倍高速

インストール手順は以下を参照してください:
{% endcolumn %}

{% column %}

<div data-with-frame="true"><figure><img src="/files/c219df5fc541689071df02c2a6ac347cbb9a4847" alt=""><figcaption><p>Unslothで動作しているQwen3.6 2-bitの例。</p></figcaption></figure></div>
{% endcolumn %}
{% endcolumns %}

{% tabs %}
{% tab title="MacOS" %}

#### ステップ1: Unslothのセットアップ

次を起動します `ターミナル` をMacから起動し、下のコマンドを入力してUnslothをインストールします。

```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```

以下のように、Unslothが環境のセットアップと必要なパッケージのインストールを開始します。 **Y** と入力し、 `Enter` を押して、Studioを今すぐ起動することを許可するか尋ねられたら進めてください。これにより、ローカルの **8888** ポートでUnslothが起動します。

<figure><img src="/files/911b9883060def0d092c143792f31dd9552de2ac" alt="" width="375"><figcaption></figcaption></figure>

{% hint style="info" %}
インストール中にUnslothを起動しないことを選んだ場合でも、いつでも `unsloth studio -p 8888` を使ってUnslothアプリを起動できます。PC/コンピューターの外部にいるクライアントからUnslothインスタンスにアクセスできるようにしたい場合は、 `-H 0.0.0.0` を `unsloth studio` コマンドに追加してください。
{% endhint %}

#### ステップ2: Unslothの起動

お好みのブラウザを開き、 `http://127.0.0.1:8888`  をURL欄に入力します。これがUnslothの初回インストールであれば、パスワードページに移動し、新しいパスワードを作成する必要があります。その後、Unslothは下のようにチャットページで開くはずです。

<figure><img src="/files/22712a19788622c5a19fe86f6e5269b13c1d20d7" alt="" width="375"><figcaption></figcaption></figure>
{% endtab %}

{% tab title="Windows" %}

#### ステップ1: Unslothのセットアップ

スタートメニューを開いて `PowerShell`を検索し、起動します。インストールコマンドをコピーして入力してください:

```powershell
irm https://unsloth.ai/install.ps1 | iex
```

自動的にインストールが始まります。インストール完了後、PowerShellはUnsloth Studioを起動するかどうかを尋ねま&#x3059;**.**

<figure><img src="/files/911b9883060def0d092c143792f31dd9552de2ac" alt="" width="375"><figcaption></figcaption></figure>

次のコマンドでも起動できます:

```bash
unsloth studio -H 0.0.0.0 -p 8888
```

{% hint style="info" %}
PC/コンピューターの外部にいるクライアントからインスタンスにアクセスできるようにしたい場合。\
追加 `-H 0.0.0.0` を `unsloth studio` コマンドに追加してください。
{% endhint %}

#### ステップ2: Unslothの起動

開く `http://127.0.0.1:8888` をブラウザで開いてください。初回起動時は、チャットページに進むために新しいパスワードを作成します。 **Unsloth Studio** はインストールされ、使用準備ができました。

<figure><img src="/files/22712a19788622c5a19fe86f6e5269b13c1d20d7" alt="" width="375"><figcaption></figcaption></figure>
{% endtab %}

{% tab title="Linux, WSL" %}

#### ステップ1: Unslothのセットアップ

{% tabs %}
{% tab title="Linux" %}
ターミナルアプリケーションを開きます。 `Ctrl + Alt + T`を押すか、 `Terminal` をシステムのアプリケーションメニューから検索して起動できます。
{% endtab %}

{% tab title="WSL" %}
Windowsのスタートメニューをクリックし、インストール済みディストリの名前（例: `Ubuntu`）を入力して開きます。

{% hint style="warning" %}
で **WSL**は、 **NVIDIAドライバー** が **Windows** にインストールされていること（WSL内ではなく）と、 **CUDA toolkit** がWSLディストリ内にインストールされていることを確認してください。詳細は下のシステム要件を参照してください。
{% endhint %}
{% endtab %}
{% endtabs %}

インストールするには、以下のインストールコマンドをコピーして実行します:

```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```

その後:

1. ターミナルウィンドウ内をクリック
2. コマンドを貼り付けるには `Ctrl + Shift + V`
3. を押します `Enter`

以下のように、Unslothが環境のセットアップと必要なパッケージのインストールを開始します。 **Y** と入力し、 `Enter` を押して、Studioを今すぐ起動することを許可するか尋ねられたら進めてください。これにより、ローカルの **8888** ポートでUnslothが起動します。

<figure><img src="/files/63dbdeec12f1bf8b9a5ee876445847b537f0432f" alt=""><figcaption></figcaption></figure>

{% hint style="info" %}
インストール中にUnslothを起動しないことを選んだ場合でも、いつでも `unsloth studio -p 8888` を使ってUnslothアプリを起動できます。PC/コンピューターの外部にいるクライアントからUnslothインスタンスにアクセスできるようにしたい場合は、 `-H 0.0.0.0` を `unsloth studio` コマンドに追加してください。
{% endhint %}

#### ステップ2: Unslothの起動

お好みのブラウザを開き、 `http://127.0.0.1:8888`  をURL欄に入力します。これがUnslothの初回インストールであれば、パスワードページに移動し、新しいパスワードを作成する必要があります。その後、Unslothは下のようにチャットページで開くはずです。

<figure><img src="/files/fe873fdd0e62c5c0973e8bd102e5314c44f2fafd" alt="" width="375"><figcaption></figcaption></figure>
{% endtab %}
{% endtabs %}

### モデル読み込み + APIガイド

{% stepper %}
{% step %}

#### モデルを選択

APIを使用する前に、Chatページ左上の **Select model** ドロップダウンからモデルを読み込みます。

<figure><img src="/files/e29038cb1426e393aee3cb144c904bc7a9438f27" alt=""><figcaption></figcaption></figure>

このガイドでは、次を使用します: `unsloth/gemma-4-26B-A4B-it-GGUF` 推奨の `UD-Q4_K_XL` 量子化設定で。
{% endstep %}

{% step %}

#### モデルをテスト

クライアントを使う前に、短いメッセージを送ってください:

<div data-with-frame="true"><figure><img src="/files/6037fb7bcfd78472b5ddadc37e90255377de6580" alt="" width="563"><figcaption></figcaption></figure></div>

{% hint style="info" %}
これで、モデルが正しく読み込まれ、応答の準備ができていることを確認できます。
{% endhint %}
{% endstep %}

{% step %}

#### **Unsloth APIキー**

Studioで **Settings → API** を開いて、APIキーを表示または作成します。

<figure><img src="/files/ff7840d9317331aed891f8636717121d17346f61" alt=""><figcaption></figcaption></figure>

APIキーはパスワードのように扱い、スクリーンショットやリポジトリに公開しないようにしてください。
{% endstep %}
{% endstepper %}

## ⚙️ Claude Codeを接続

Claude Code用のローカルLLMをセットアップしたので、次にClaude Codeがあなたのツールで動作するよう設定します。 `unsloth start` 下から簡単に接続するか、 [手動で](#connect-manually).

#### ⚡ 次で接続 `unsloth start`

Claude Codeをローカルモデルに向ける最速の方法は `unsloth start` コマンドです。Unslothが起動し、モデルが読み込まれている状態で、ターミナルで次を実行します:

```bash
unsloth start claude
```

これによりAPIキーが発行され、 `ANTHROPIC_BASE_URL`, `ANTHROPIC_AUTH_TOKEN`と `ANTHROPIC_MODEL` 変数が設定され、 `~/.claude/settings.json` にKVキャッシュ修正が適用され、Claude Codeが読み込んだモデルに対して起動します。何もexportする必要も、 `settings.json` を手動で編集する必要もありません。

デフォルトでは、Unsloth にすでに読み込まれているモデルを使用します。特定のモデルを読み込んで使用するには、 `--model`:

```bash
unsloth start claude --model unsloth/gemma-4-26B-A4B-it-GGUF
```

別のマシン上のUnslothに接続しますか？キー（**Settings → API**）を作成し、 `--api-key`と一緒に渡し、 `UNSLOTH_STUDIO_URL` サーバー上で。

#### 🔌 手動で接続

手動で設定したい場合は、まず以下の環境変数を設定できます。これらの変数はデフォルトではセッション間で永続化されません。

{% tabs %}
{% tab title="MacOS, Linux, WSL" %}
**設定:** ローカルAPI URLを設定:

```bash
export ANTHROPIC_BASE_URL="http://localhost:8888"
```

Unsloth Studio → Settings → APIから、または `unsloth run`で起動したときにコンソールに表示される `sk-unsloth-...`からキーをコピーして設定します。さらに空の `ANTHROPIC_API_KEY` も設定し、Claude Codeがクラウドキーを求めないようにします:

```bash
export ANTHROPIC_API_KEY=""
```

任意: 現在Unslothで読み込まれているモデル名をデフォルトとして使用します。

```bash
export ANTHROPIC_MODEL="unsloth/gemma-4-26B-A4B-it-GGUF"
```

モデルIDは `GET http://localhost:8888/v1/models` に表示されるものと完全に同じ文字列を使用してください（ `claude --model`).
{% endtab %}

{% tab title="Windows" %}
**設定:** を使うときと同じです）。

```powershell
PowerShellでローカルAPI URLを設定:
```

からキーをコピーし、 **Unsloth Studio → Settings → API**で、次を設定します:

```powershell
$env:ANTHROPIC_AUTH_TOKEN = "sk-unsloth-xxxxxxxxxxxx"
```

**任意:** Unslothで現在読み込まれているモデル名をデフォルトとして使用します。

```powershell
$env:ANTHROPIC_MODEL = "gemma-4-26B-A4B-it-GGUF"
```

{% hint style="info" %}
モデル名は、Unsloth Studioで現在読み込まれているモデルにしてください。&#x20;
{% endhint %}
{% endtab %}
{% endtabs %}

### Claude Codeを起動

Unslothで現在読み込まれているモデルでClaude Codeを起動します。

使用するのは `gemma-4-26B-A4B-it-GGUF`ですが、Unsloth互換の任意のモデルを使用できます。&#x20;

```shellscript
claude --model unsloth/gemma-4-26B-A4B-it-GGUF
```

{% hint style="info" %}
ローカルモデルをさらに高速化するには、 `--bare --exclude-dynamic-system-prompt-sections`でも起動できます。以下の「任意: システムプロンプトを短くする」を参照してください。
{% endhint %}

Claude Codeが開き、選択したモデルを表示するはずです。

<figure><img src="/files/e9e413e7e368d9a71991359639c187c961c9df7e" alt=""><figcaption></figcaption></figure>

{% hint style="warning" %}
こちらを [#fixing-90-slower-inference-in-claude-code](#fixing-90-slower-inference-in-claude-code "mention") 先に確認して、KVキャッシュの無効化が原因でオープンモデルが90%遅くなる問題を修正してください。
{% endhint %}

このプロンプトを使って、高品質なSFTデータセットを調査し、順位付けしてみてください:

{% code overflow="wrap" %}

```
project/内でのみ作業できます。CLAUDE.mdを探さないでください — これがそれです。Hugging Faceで実在するinstruction/chat/SFTデータセットを10件見つけるためにWeb検索を使い、調査中に見つけた内容を簡潔に要約し、それぞれのデータセットがSFTに関連する理由を説明してください。その後、順位、データセット名、作成者、関連タグ3〜5件、平易な英語の短い要約、そしてSFTに役立つ理由を含む、洗練されたMarkdownレポートとしてsft_report.mdを作成してください。巨大なメタデータダンプ、貼り付けた生の説明、過剰に長いタグ一覧、無関係なデータセットは避け、すべて簡潔で読みやすくしてください。タスクはsft_report.mdに10件の整った、よく書かれたデータセット項目が入った時点で完了です。最後は次で締めてください: “Successfully finetuned a model with Unsloth!
```

{% endcode %}

プロンプトを送信すると、エージェントがWebを検索し、結果を評価して、最終レポートを書きます。これには数分かかることがあります。

一部のワークフローでは、操作の承認や追加プロンプトへの回答が必要になる場合があります。

<figure><img src="/files/005168c61b85a54d19b975aabb80d13cd9a2744c" alt="" width="563"><figcaption></figcaption></figure>

{% hint style="info" %}
一部のワークフローでは、操作の承認やフォローアップのプロンプトへの回答が必要になる場合があります。
{% endhint %}

完了すると、生成された `sft_report.md` はこのようになります。

<figure><img src="/files/e715b723832b82e56b869e98f3a9eb662a261dad" alt="" width="375"><figcaption></figcaption></figure>

{% hint style="warning" %}
もし `Unable to connect to API (ConnectionRefused)` が表示されたら、 `ANTHROPIC_BASE_URL`  を介して `unset ANTHROPIC_BASE_URL`

を解除するのを忘れないでください。 [こちらを先に確認](#fixing-90-slower-inference-in-claude-code) して、KVキャッシュが無効化される問題を修正してください。
{% endhint %}

### 任意: システムプロンプトを短くする

Claude CodeはAnthropicのホスト型モデル向けに作られているため、デフォルトのシステムプロンプトは大きめです。ローカルモデルでは、起動時に2つのフラグを追加することで、応答を速くし、KVキャッシュの再利用を改善するために短くできます:

{% code overflow="wrap" %}

```shellscript
claude --model unsloth/gemma-4-26B-A4B-it-GGUF --bare --exclude-dynamic-system-prompt-sections
```

{% endcode %}

{% hint style="info" %}
`--bare` は、hooks、skills、plugins、MCPサーバー、CLAUDE.mdの自動検出をスキップします（ClaudeはBashとファイルの読み書き/編集は保持します）。また `--exclude-dynamic-system-prompt-sections` は、マシンごとのセクションをプロンプト接頭辞の外に移します。どちらもプロンプトを短くし、KVキャッシュの再利用を改善するため、ローカルモデルが目に見えて速くなります。これらは任意であり、上の接続設定は変更しません。
{% endhint %}

### オプション: Unslothサーバーを調整

Claude CodeはUnslothで実行中のモデルを使用します。起動時にサーバーの動作をカスタマイズできます。

```bash
# コーディングエージェント向けに提供: --disable-tools はエージェント自身のツールを通します
unsloth run \\
  --model unsloth/gemma-4-26B-A4B-it-GGUF \\
  --disable-tools \\
  --reasoning off \\
  -p 8888
```

{% hint style="warning" %}
使用する `--disable-tools` Claude Code（または任意の外部コーディングエージェント）を駆動するときに使用します。デフォルトではUnsloth Studioは独自のサーバー側ツールを実行するため、エージェントのツール呼び出しを飲み込んでしまい、Claude Codeは応答するもののファイルを編集しません。 `--disable-tools` をパススルーに切り替えるため、Claude Code自身のWrite/Edit/Bashツールが使用されます。
{% endhint %}

使用する `--reasoning off` 推論をオフにするには `--reasoning on` 推論対応モデルでオンにするには。

```bash
# ローカルネットワーク上にAPIを公開
unsloth run \\
  --model unsloth/gemma-4-26B-A4B-it-GGUF \\
  -H 0.0.0.0 \\
  -p 8888
```

これによりサーバーは `0.0.0.0:8888`で起動し、ローカルネットワーク上の他のデバイスが接続できるようになります。

使用する `-p` でサーバーの実行ポートを変更します。 `-H 0.0.0.0` を使えば、スマートフォン、ノートPC、またはネットワーク上の他のデバイスから接続できます。

より高度なランタイム設定については、メインの [API チューニング](https://unsloth.ai/docs/basics/api#unsloth-run-command) セクションを参照してください。

## 🦙 Llama.cppチュートリアル

始める前に、まず使用する特定のモデルのセットアップを完了する必要があります。 `llama.cpp` これは、Mac、Linux、Windowsなどのデバイス上でLLMを実行するためのオープンソースフレームワークです。Llama.cppには `llama-server` が含まれており、LLMを効率的に提供・デプロイできます。モデルはポート8001で提供され、すべてのエージェントツールは単一のOpenAI互換エンドポイントを通じてルーティングされます。

#### Qwen3.5チュートリアル

使用するのは [Qwen3.5](/docs/jp/moderu/qwen3.5.md)-35B-A3Bと、素早く正確なコーディング作業のための特定の設定です。十分なVRAMがなく、 **より賢い** モデルがほしい場合、 **Qwen3.5-27B** は非常に良い選択ですが、約2倍遅くなります。あるいは9B、4B、2Bなどの他のQwen3.5バリアントを使うこともできます。

{% hint style="info" %}
より **より賢い** モデルがほしい場合や、十分なVRAMがない場合はQwen3.5-27Bを使ってください。ただし、35B-A3Bより約2倍遅くなります。あるいは [**Qwen3-Coder-Next**](/docs/jp/moderu/qwen3-coder-next.md) を使うこともでき、十分なVRAMがあれば非常に優れています。
{% endhint %}

{% stepper %}
{% step %}

#### llama.cppをインストール

をインストールする必要があります `llama.cpp` して、Claude Codeなどで使うローカルLLMをデプロイ/提供します。正しいGPUバインディングと最大性能のため、公式のビルド手順に従います。 `-DGGML_CUDA=ON` を `-DGGML_CUDA=OFF` GPU がない場合、または CPU 推論のみを使いたい場合。 **Apple Mac / Metal デバイスでは**、次を設定し `-DGGML_CUDA=OFF` あとは通常どおり続けてください。Metal 対応はデフォルトで有効です。

```bash
apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev git-all -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \\
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp
```

<figure><img src="/files/ae5f3315e19104577ac3d697dc2e49532dde5331" alt="" width="563"><figcaption></figcaption></figure>
{% endstep %}

{% step %}

#### モデルをローカルにダウンロードして使用する

以下を使ってモデルをダウンロードします: `huggingface_hub` Pythonで（まず次をインストールした後で `pip install huggingface_hub hf_transfer`）。 **UD-Q4\_K\_XL** を使うと、サイズと精度のバランスが最も良くなります。すべてのUnsloth GGUFアップロードは [こちらのコレクション](/docs/jp/meru/unsloth-model-catalog.md)にあります。ダウンロードが止まる場合は、 [Hugging Face Hub、XETデバッグ](/docs/jp/ji-ben/troubleshooting-and-faqs/hugging-face-hub-xet-debugging.md)

```bash
hf download unsloth/Qwen3.5-35B-A3B-GGUF \\
    --local-dir unsloth/Qwen3.5-35B-A3B-GGUF \\
    --include "*UD-Q4_K_XL*" # Dynamic 2bitの場合は "*UD-Q2_K_XL*" を使用
```

<figure><img src="/files/870f74435ac5d7469d68de67de56a0e6bc274975" alt=""><figcaption></figcaption></figure>

{% hint style="success" %}
使用したのは `unsloth/Qwen3.5-35B-A3B-GGUF` ですが、27Bなどの別バリアントや、 `unsloth/`[`Qwen3-Coder-Next`](/docs/jp/moderu/qwen3-coder-next.md)`-GGUF`.
{% endhint %}

<figure><img src="/files/95477a113efead8e33b2a3a879c8b9b96e17336a" alt="" width="563"><figcaption></figcaption></figure>
{% endstep %}

{% step %}

#### Llama-serverを起動

Qwen3.5をエージェント的ワークロード向けにデプロイするために、 `llama-server`を使用します。 [Qwen推奨のサンプリングパラメータ](/docs/jp/moderu/qwen3.5.md#recommended-settings) を推論モードに適用します: `temp 0.6`, `top_p 0.95` , `top-k 20`。非推論モードや他のタスクを使う場合は、これらの数値が変わることに注意してください。

新しいターミナルでこのコマンドを実行します（ `tmux` を使うか、新しいターミナルを開いてください）。以下は **24GB GPU（RTX 4090）にちょうど収まります（23GB使用）** `--fit on` でも自動オフロードされますが、性能が悪い場合は `--ctx-size` .

{% hint style="info" %}
使用したのは `--cache-type-k q8_0 --cache-type-v q8_0` を減らしてKVキャッシュを量子化し、VRAM使用量を減らしてください。フル精度にするには `--cache-type-k bf16 --cache-type-v bf16` を使用します。bf16 KVキャッシュは一部のマシンではやや遅くなる場合があります。
{% endhint %}

```bash
./llama.cpp/llama-server \\
    --model unsloth/Qwen3.5-35B-A3B-GGUF/Qwen3.5-35B-A3B-UD-Q4_K_XL.gguf \\
    --alias "unsloth/Qwen3.5-35B-A3B" \\
    --temp 0.6 \\
    --top-p 0.95 \\
    --top-k 20 \\
    --min-p 0.00 \\
    --port 8001 \\
    --kv-unified \\
    --cache-type-k q8_0 --cache-type-v q8_0
```

{% hint style="success" %}
Qwen3.5 の思考も無効にできます。そうするとエージェント的なコーディング作業の性能が向上することがあります。llama.cpp で思考を無効にするには、llama-server コマンドに次を追加してください:

`--chat-template-kwargs "{\"enable_thinking\": false}"`

<img src="/files/8b0978556a2ca166922fd17bdf1b4ad45910b87a" alt="" data-size="original">
{% endhint %}
{% endstep %}
{% endstepper %}

### llama-server で Claude Code を起動

{% hint style="success" %}
使用したのは `unsloth/GLM-4.7-Flash-GGUF` 、ただし次のようなものなら何でも使えます `unsloth/Qwen3.6-27B-GGUF`.
{% endhint %}

{% hint style="warning" %}
こちらを [#fixing-90-slower-inference-in-claude-code](#fixing-90-slower-inference-in-claude-code "mention") 先に確認して、KVキャッシュの無効化が原因でオープンモデルが90%遅くなる問題を修正してください。
{% endhint %}

プロジェクトフォルダに移動し（`mkdir project ; cd project`）次を実行します:

```bash
claude --model unsloth/GLM-4.7-Flash
```

Qwen3.6-35B-A3B を使うには、単純に次のように変更します:

```bash
claude --model unsloth/Qwen3.6-35B-A3B
```

<div data-with-frame="true"><figure><img src="/files/31b7e88d00ab4d4f12cc3d5b3997ec89aa0af809" alt="" width="563"><figcaption></figcaption></figure></div>

Claude Code に承認なしでコマンドを実行させるには、次を実行します **（警告: これにより Claude Code は、承認なしで好きなようにコードを実行するようになります！）**

{% code overflow="wrap" %}

```bash
claude --model unsloth/GLM-4.7-Flash --dangerously-skip-permissions
```

{% endcode %}

簡単な Unsloth のファインチューニングをインストールして実行するには、このプロンプトを試してください:

{% code overflow="wrap" %}

```
cwd の project/ 内でのみ作業できます。CLAUDE.md を探さないでください。これがそれです。uv を使って仮想環境経由で Unsloth をインストールしてください。可能なら `python -m venv unsloth_env` を実行し、その後 `source unsloth_env/bin/activate` を実行してください。やり方は https://unsloth.ai/docs/get-started/install/pip-install を見てください（開いて読んでください）。その後、https://github.com/unslothai/unsloth に記載されている簡単な Unsloth のファインチューニング実行を行ってください。GPU は 1 枚使えます。
```

{% endcode %}

<div data-with-frame="true"><figure><img src="/files/429dfd4bc37e01e11079daca85db2100db70faa6" alt="" width="563"><figcaption></figcaption></figure></div>

少し待つと、Unsloth が uv 経由で venv にインストールされ、読み込まれます:

<div data-with-frame="true"><figure><img src="/files/7bbabd596e0fbbfe8767284fb319e36f1d01bfc8" alt="" width="563"><figcaption></figcaption></figure></div>

そして最後に、Unsloth でファインチューニングに成功したモデルが表示されます！

<div data-with-frame="true"><figure><img src="/files/06a9998ee498e38088efd6de5a8a0a6370befe0c" alt="" width="563"><figcaption></figcaption></figure></div>

{% hint style="warning" %}
もし `Unable to connect to API (ConnectionRefused)` が表示されたら、 `ANTHROPIC_BASE_URL`  を介して `unset ANTHROPIC_BASE_URL`

を解除するのを忘れないでください。 [こちらを先に確認](#fixing-90-slower-inference-in-claude-code) して、KVキャッシュが無効化される問題を修正してください。
{% endhint %}

[^1]: 必ずこれを使ってください！


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:

```
GET https://unsloth.ai/docs/jp/ji-ben/claude-code.md?ask=<question>&goal=<endgoal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.