Claude CodeでローカルLLMを実行する方法

ローカルデバイスでClaude Codeとオープンモデルを使うガイド。

このステップごとのガイドでは、スクリーンショット付きで、オープンLLMとAPIをClaude Codeに完全ローカルで接続する方法を紹介します。Qwen3.6、DeepSeek、Gemmaのような任意のオープンモデルで実行できます。

このチュートリアルでは、以下のオープンモデルを使用します： Gemma 4 と Qwen3.5 これは強力なエージェント向け＆コーディング向けモデルです（24GB RAM/ユニファイドメモリ搭載デバイスで動作します）。

推論には、次を使用します Unsloth Desktop と llama.cpp これにより、macOS、Linux、WindowsでLLMを実行／提供できます。ほかのモデルを使っても構いません。モデルの量子化版には、Unslothを利用します Dynamic GGUF 精度を維持しながら、任意の量子化LLMを実行するためのものです。

Qwen3.5 をローカルで使用して動作する Claude Code。

Claude Codeのセットアップ📖 ローカルモデルのセットアップチュートリアル

Claude Codeのセットアップ

ローカルLLMを設定する前に、Claude Codeをインストールする必要があります。Claude Codeはターミナルベースのコーディングエージェントで、コードベースを理解し、自然言語を使って複雑なGitワークフローを処理します。

macOS、Linux、WSL

Claude Codeをインストールします：

Claude Codeをインストールするには、以下をターミナルに貼り付けてください：

curl -fsSL https://claude.ai/install.sh | bash

インストール後、プロジェクトフォルダに移動し、次を入力します claude の シェル で開始します。

cd ~/projects/my-project 
claude

Windows

Claude Codeをインストールします：

次を入力してください PowerShell Claude Codeをインストールするには：

irm https://claude.ai/install.ps1 | iex

インストール後、プロジェクトフォルダに移動し、次を入力します claude の PowerShell で開始します。

cd /path/to/your/project
claude

🕵️Claude Codeで推論が90%遅くなる問題の修正

Claude Codeは最近、Claude Code Attributionヘッダーを先頭に追加するようになりました。これにより KVキャッシュが無効化され、ローカルモデルでは推論が90%遅くなります.

この attribution は、次の先頭に追加される1行です システムプロンプトの先頭 (x-anthropic-billing-header: cc_version=...; cch=...;）その値はリクエストごとに変わるため、プロンプトの接頭辞全体が毎ターンKVキャッシュにヒットしません。

最も簡単な修正は、Claude Code起動時にインラインで無効化することです。編集するファイルはありません：

claude --settings '{"env":{"CLAUDE_CODE_ATTRIBUTION_HEADER":"0","CLAUDE_CODE_ENABLE_TELEMETRY":"0"}}' --model unsloth/gemma-4-26B-A4B-it-GGUF

最近のClaude Codeリリースでは次も有効です export CLAUDE_CODE_ATTRIBUTION_HEADER=0；古いビルドではシェル変数を無視していたため、 --settings 上記の形式（または下記の設定ファイル）が確実です。

永続化するには、次を追加します CLAUDE_CODE_ATTRIBUTION_HEADER を0に設定して、次の中に入れます "env" の中で ~/.claude/settings.json。たとえば次を実行します cat > ~/.claude/settings.json その後、以下を追加します（貼り付けたらENTERを押してからCTRL+Dで保存します）。以前の ~/.claude/settings.json ファイルがある場合は、単に "CLAUDE_CODE_ATTRIBUTION_HEADER" : "0" を"env"セクションに追加し、設定ファイルの他の部分はそのままにしてください。

{
  "promptSuggestionEnabled": false,
  "env": {
    "CLAUDE_CODE_ENABLE_TELEMETRY": "0",
    "CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC": "1",
    "CLAUDE_CODE_ATTRIBUTION_HEADER" : "0"
  },
  "attribution": {
    "commit": "",
    "pr": ""
  },
  "plansDirectory" : "./plans",
  "prefersReducedMotion" : true,
  "terminalProgressBarEnabled" : false,
  "effortLevel" : "high"
}

📖 クイックスタートチュートリアル

始める前に、使用する特定のモデルのセットアップを完了する必要があります。ここでは Unsloth （Web UI）とllama.cppを使用します。これらは、Mac、Linux、Windowsデバイス上でLLMを実行・提供するためのオープンソースフレームワークです。

Unslothには独自の自己修復 ツール呼び出し と Web検索 機能もあります。右側に、Unslothに接続されたClaude Codeの例を示します：

Claude Codeを接続🦥 Unslothチュートリアル llama.cppチュートリアル

🦥 Unslothチュートリアル

このチュートリアルでは、 Unslothを使って、UI経由でローカルモデルをClaude Codeに提供/接続します。UnslothはWindows、WSL、Linux、macOSで動作します。

• 検索、ダウンロード、 GGUF を実行 および safetensor モデル

• 自己修復 ツール呼び出し + Web検索

• コード実行 （Python、Bash）

• 自動推論 パラメータ選択（temp、top-pなど）

• llama.cppによる高速なCPU + GPU推論

• LLM を学習 VRAM を 70% 少なくして 2 倍高速

インストール手順は以下を参照してください：

Unslothで動作しているQwen3.6の2ビットの例です。

1

Unslothをダウンロード

始める最も簡単な方法は、次のものをインストールすることです Unsloth Desktop アプリです。対応環境は macOS、Linux、 Windows, NVIDIA, AMD、Intel、およびCPU構成です。

Unslothをダウンロード

• macOS版をダウンロード

• Windows版をダウンロード

• Linux版をダウンロード

あるいは、手動インストールを希望する場合:

macOS、Linux、WSL:

curl -fsSL https://unsloth.ai/install.sh | sh

Windows PowerShell:

irm https://unsloth.ai/install.ps1 | iex

2

インストール

1. Unslothインストーラを開き（.dmg, .exe ファイル）

2. MacではUnslothをアプリケーションにドラッグし、Windowsではセットアップを完了してください。

3. アプリを起動し、インストール完了を待ちます

3

モデルを選択

上部の『モデルを選択』ドロップダウンまたは『Model hub』タブを開き、デバイスに合ったモデルと量子化を選んでダウンロードします。完了したら、すぐにチャットを開始できます。セットアップは不要です。

4

Unslothの準備が整いました

チャットを始めるには、メッセージを入力してEnterを押します。

• ツールを接続： Claude Code, Codex、ウェブ検索、 MCP など

• モデルを学習： テキスト、拡散モデル、埋め込みなどをファインチューニング

• メディアを生成： 画像、動画、TTSをローカルで作成・学習

モデル読み込み + APIガイド

1

モデルを選択

APIを使用する前に、 モデルを選択 チャットページ左上のドロップダウンからモデルを読み込みます。

このガイドでは、以下を使用します： unsloth/gemma-4-26B-A4B-it-GGUF 推奨の UD-Q4_K_XL 量子化を使用します。

2

モデルのテスト

クライアントを使用する前に、短いメッセージを送信します：

これで、モデルが正しく読み込まれ、応答可能な状態であることを確認できます。

3

Unsloth APIキー

Unslothで Settings → API を開き、APIキーを表示または作成します。

APIキーはパスワードのように扱い、スクリーンショットやリポジトリで公開しないでください。

⚙️ Claude Codeを接続

Claude Code用のローカルLLMを設定したので、次にClaude Codeがあなたのツールで動作するよう構成します。簡単に接続するには次の方法があります unsloth start 以下の方法を使うか、 手動で.

⚡ 次を使ってClaude Codeを実行 unsloth start

モデルを指定してClaudeを直接起動するには、次を実行します：

unsloth start claude \\
    --model unsloth/qwen3.8-27B-GGUF-GGUF:UD-Q4_K_XL
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.0 \
    --chat-template-kwargs '{"reasoning_effort":"medium"}'

Unslothが使用すべき正しいパラメータを自動で選択しますが、変更も可能です。

Unsloth Studioにモデルを読み込んだ状態で、プロジェクトフォルダを開いて次を実行します：

unsloth start claude

Unsloth Studioに読み込まれたモデルを使って実行中のClaude Code。

この起動では、Unslothがローカルエンドポイント、APIキー、モデル、コンテキスト長を設定します。通常のClaude Code設定はそのままです。

Claude Codeはすでに通常のセッションストアに会話を保存しているため、 --persist は不要です。最新のセッションを続けるには：

unsloth start claude --continue

完全な unsloth start コマンドラインからモデルを読み込む方法、リモートUnslothサーバー、詳細オプションの参考資料です。

このガイドの残りでは、手動での llama.cpp 設定を扱います。

🔌 手動で接続

手動で設定したい場合は、まず次の環境変数を設定してください。これらの変数はデフォルトではセッション間で保持されません。

macOS、Linux、WSL

設定： ローカルAPI URLを設定します：

export ANTHROPIC_BASE_URL="http://localhost:8888"

Unsloth Studio → Settings → API からキーをコピーするか、次を付けて起動したときのコンソールから取得し、 unsloth runそこで次のように表示されるので、 sk-unsloth-...それを設定します。

export ANTHROPIC_AUTH_TOKEN="sk-unsloth-xxxxxxxxxxxx"

空の ANTHROPIC_API_KEY も設定して、Claude Codeがクラウドキーを要求しないようにします：

export ANTHROPIC_API_KEY=""

オプション：現在Unslothに読み込まれているモデル名をデフォルトとして使います。

export ANTHROPIC_MODEL="unsloth/gemma-4-26B-A4B-it-GGUF"

モデルIDは、次に表示されるものを GET http://localhost:8888/v1/models （次に渡すのと同じ文字列です claude --model).

Windows

設定： PowerShellでローカルAPI URLを設定します：

$env:ANTHROPIC_BASE_URL = "http://localhost:8888"

次からキーをコピーして Unsloth Studio → Settings → API、それを設定します：

$env:ANTHROPIC_AUTH_TOKEN = "sk-unsloth-xxxxxxxxxxxx"

オプション： 現在Unslothに読み込まれているモデル名をデフォルトとして設定します。

$env:ANTHROPIC_MODEL = "gemma-4-26B-A4B-it-GGUF"

モデル名は、現在Unsloth Studioに読み込まれているモデルにしてください。

Claude Codeを起動

現在Unslothに読み込まれているモデルでClaude Codeを起動します。

使用するのは gemma-4-26B-A4B-it-GGUFですが、Unsloth互換のモデルなら何でも使えます。

claude --model unsloth/gemma-4-26B-A4B-it-GGUF

ローカルモデルをさらに高速化したい場合は、次のオプションでも起動できます --bare --exclude-dynamic-system-prompt-sections。下記の「オプション：システムプロンプトを縮小」を参照してください。

Claude Codeが選択したモデルを開いて表示するはずです。

次を参照 Claude Code を先に確認し、KVキャッシュの無効化でオープンモデルが90%遅くなる問題を修正してください。

高品質なSFTデータセットを調査して順位付けするには、次のプロンプトを試してください：

project/でのみ作業してください。CLAUDE.mdを探さないでください—これがそれです。Hugging Faceで10個の実在するinstruction/chat/SFTデータセットを見つけるためにWeb検索を使い、調査しながら発見内容を簡潔に要約し、各データセットがSFTに関連する理由を説明してください。その後、rank、dataset name、creator、3〜5個の関連タグ、短い平易な英語での要約、そしてSFTに役立つ理由を含む、洗練されたMarkdownレポートとしてsft_report.mdを作成してください。巨大なメタデータのダンプ、貼り付けた生の説明、過剰に長いタグ一覧、関係のないデータセットは含めず、すべてを簡潔で読みやすくしてください。sft_report.mdに10件のきれいでよく書かれたデータセット項目が入ったらタスク完了です。最後は「Unslothでモデルのファインチューニングに成功しました！」で締めてください。

プロンプトを送信すると、エージェントがWebを検索し、結果を評価して、最終レポートを作成します。数分かかる場合があります。

ワークフローによっては、操作の承認や追加のプロンプトへの回答が必要になる場合があります。

ワークフローによっては、操作の承認や追加のフォローアッププロンプトへの回答が必要になる場合があります。

完了すると、生成された sft_report.md は次のような見た目になります。

もし次が表示されたら APIに接続できません（ConnectionRefused） と表示されたら、 ANTHROPIC_BASE_URL 経由で unset ANTHROPIC_BASE_URL

オープンモデルが90%遅いと感じたら、 まずこちらを確認してください KVキャッシュの無効化を修正するためです。

オプション：システムプロンプトを縮小

Claude CodeはAnthropicのホスト型モデル向けに作られているため、デフォルトのシステムプロンプトは大きめです。ローカルモデルでは、起動時に2つのフラグを追加することで、応答を速くし、KVキャッシュの再利用を改善するためにこれを削減できます：

claude --model unsloth/gemma-4-26B-A4B-it-GGUF --bare --exclude-dynamic-system-prompt-sections

--bare hooks、skills、plugins、MCPサーバー、CLAUDE.mdの自動検出をスキップし（ClaudeはBashとファイルの読み取り／編集は保持します）、 --exclude-dynamic-system-prompt-sections 各マシン固有のセクションをプロンプトの接頭辞から外します。どちらもプロンプトを短くし、KVキャッシュの再利用を改善するため、ローカルモデルが目に見えて高速になります。これらはオプションであり、上記の接続設定は変更しません。

オプション：Unslothサーバーを調整

Claude CodeはUnslothで実行中のモデルを使います。起動時にサーバーの動作をカスタマイズできます。

# コーディングエージェント向けに提供：--disable-tools はエージェント自身のツールをそのまま通します
unsloth run \
  --model unsloth/gemma-4-26B-A4B-it-GGUF \
  --disable-tools \
  --reasoning off \
  -p 8888

次を使用: --disable-tools Claude Code（または外部のコーディングエージェント）を動かすときの設定です。デフォルトではUnsloth Studioが独自のサーバー側ツールを実行し、エージェントのツール呼び出しを吸収してしまうため、Claude Codeは回答してもファイルを編集しません。 --disable-tools パススルーに切り替わるため、Claude Code自身のWrite/Edit/Bashツールが使われます。

次を使用: --reasoning off で思考をオフにするか、 --reasoning on 推論対応モデルでオンにします。

# APIをローカルネットワークに公開
unsloth run \
  --model unsloth/gemma-4-26B-A4B-it-GGUF \
  -H 0.0.0.0 \
  -p 8888

これでサーバーは次で起動します 0.0.0.0:8888。これにより、ローカルネットワーク上の他のデバイスが接続できます。

次を使用: -p サーバーが実行するポートを変更します。次を使用してください -H 0.0.0.0 ネットワーク上のスマートフォン、ノートパソコン、その他のデバイスから接続したい場合は、これを使います。

より高度なランタイム設定については、メインの APIチューニング セクションを参照してください。

🦙 Llama.cpp チュートリアル

始める前に、使用する特定のモデルのセットアップを完了する必要があります。ここでは llama.cpp これは、Mac、Linux、WindowsなどのデバイスでLLMを実行するためのオープンソースフレームワークです。Llama.cppには llama-server が含まれており、LLMを効率的に提供・デプロイできます。モデルはポート8001で提供され、すべてのエージェントツールは単一のOpenAI互換エンドポイントを通してルーティングされます。

Qwen3.5チュートリアル

使用するのは Qwen3.5-35B-A3Bと、速く正確なコーディング作業のための特定の設定です。十分なVRAMがなく、 より賢い モデルが欲しいなら、 Qwen3.5-27B は優れた選択です。ただし約2倍遅くなります。あるいは9B、4B、2Bなどの他のQwen3.5バリアントも使えます。

次の条件ならQwen3.5-27Bを使ってください より賢い モデルが欲しい場合、またはVRAMが足りない場合です。ただし35B-A3Bより約2倍遅くなります。あるいは次を使うこともできます Qwen3-Coder-Next これは、十分なVRAMがあれば非常に優れています。

1

llama.cpp をインストール

インストールする必要があります llama.cpp Claude Codeなどで使うローカルLLMをデプロイ／提供するためのものです。正しいGPUバインディングと最大性能を確保するため、公式のビルド手順に従います。次を変更してください -DGGML_CUDA=ON に -DGGML_CUDA=OFF に変更してください。GPU がない場合、または CPU 推論だけを使いたい場合です。 Apple Mac / Metal デバイスの場合、 -DGGML_CUDA=OFF を設定し、その後は通常どおり続けてください。Metal サポートはデフォルトで有効です。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev git-all -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2

モデルをローカルにダウンロードして使用

次の方法でモデルをダウンロードします huggingface_hub Python内で（次でインストールした後に pip install huggingface_hub hf_transfer）。次を使います： UD-Q4_K_XL サイズと精度のバランスが最適な量子化です。すべての Unsloth GGUF アップロードは、次の場所で見つけられます： こちらのコレクション。ダウンロードが止まる場合は、次を参照してください： Hugging Face Hub、XETのデバッグ

hf download unsloth/Qwen3.5-35B-A3B-GGUF \\
    --local-dir unsloth/Qwen3.5-35B-A3B-GGUF \\
    --include "*UD-Q4_K_XL*" # 動的2bitには "*UD-Q2_K_XL*" を使用

次を使いました： unsloth/Qwen3.5-35B-A3B-GGUF ですが、27Bのような別バリアントや、次のような他のモデルも使えます unsloth/Qwen3-Coder-Next-GGUF.

3

Llama-server を起動

エージェント向けワークロードでQwen3.5をデプロイするには、次を使います llama-server。次を適用します Qwen推奨のサンプリングパラメータ 思考モード用： temp 0.6, top_p 0.95 , top-k 20。思考モード以外や他のタスクでは、これらの数値は変わることに注意してください。

新しいターミナルでこのコマンドを実行してください（次を使うか tmux 、または新しいターミナルを開いてください）。以下は 24GB GPU（RTX 4090）にぴったり収まり（23GBを使用） --fit on も自動でオフロードされますが、性能が悪い場合は次を減らしてください： --ctx-size .

次を使いました： --cache-type-k q8_0 --cache-type-v q8_0 VRAM使用量を減らすためのKVキャッシュ量子化用です。完全精度では、次を使用します --cache-type-k bf16 --cache-type-v bf16 。注：bf16 KVキャッシュは一部のマシンでやや遅い場合があります。

./llama.cpp/llama-server \
    --model unsloth/Qwen3.5-35B-A3B-GGUF/Qwen3.5-35B-A3B-UD-Q4_K_XL.gguf \\
    --alias "unsloth/Qwen3.5-35B-A3B" \\
    --temp 0.6 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.00 \\
    --port 8001 \
    --kv-unified \
    --cache-type-k q8_0 --cache-type-v q8_0

Qwen3.5では思考を無効化することもでき、エージェント向けコーディング作業の性能向上につながります。llama.cppで思考を無効化するには、llama-serverコマンドに次を追加します：

--chat-template-kwargs "{\"enable_thinking\": false}"

llama-serverでClaude Codeを起動

次を使いました： unsloth/GLM-4.7-Flash-GGUF 、しかし次のようなものなら何でも使えます： unsloth/Qwen3.6-27B-GGUF.

次を参照 Claude Code を先に確認し、KVキャッシュの無効化でオープンモデルが90%遅くなる問題を修正してください。

プロジェクトフォルダに移動し（mkdir project ; cd project）次を実行します：

claude --model unsloth/GLM-4.7-Flash

Qwen3.6-35B-A3Bを使うには、単に次のように変更します：

claude --model unsloth/Qwen3.6-35B-A3B

Claude Codeが承認なしでコマンドを実行するように設定するには、次を実行します （注意：これにより、Claude Codeは承認なしで好きなようにコードを実行・操作します！）

claude --model unsloth/GLM-4.7-Flash --dangerously-skip-permissions

次のプロンプトを試して、簡単なUnslothファインチューニングをインストール・実行してください：

cwdのproject/でのみ作業してください。CLAUDE.mdを探さないでください—これがそれです。uvを使って仮想環境経由でUnslothをインストールしてください。可能なら `python -m venv unsloth_env` を使い、その後 `source unsloth_env/bin/activate` を実行してください。方法は https://unsloth.ai/docs/get-started/install/pip-install を見てください（取得して読んでください）。その後、https://github.com/unslothai/unsloth に記載の簡単なUnslothのファインチューニング実行を行ってください。使用できるGPUは1基です。

少し待つと、Unslothがuv経由でvenvにインストールされ、読み込まれます：

そして最後に、Unslothでファインチューニングに成功したモデルが表示されます！

もし次が表示されたら APIに接続できません（ConnectionRefused） と表示されたら、 ANTHROPIC_BASE_URL 経由で unset ANTHROPIC_BASE_URL

オープンモデルが90%遅いと感じたら、 まずこちらを確認してください KVキャッシュの無効化を修正するためです。