ローカルLLMでMCPサーバーを使う方法

スクリーンショット付きで、MCPサーバーをオープンAIモデルに接続する方法を学びます。

このステップバイステップガイドでは、接続する方法を説明します Model Context Protocol (MCP) サーバーを次のようなローカルLLMに接続します: Qwen または Gemma、そのため、実行するどのモデルでもMCP経由で外部ツールやサービスを呼び出せます。 MCPをローカルモデルに接続すると、メモリからの会話だけでなく、ローカルのファイル、アプリ、データベース、ツールを安全に使えるようになり、実際の環境で動作できる、より便利でプライベートかつ相互運用可能なAIアシスタントを構築できます。

次のオープンソースリポジトリを使用します Unsloth と llama.cpp これらはローカルモデルの推論／デプロイで人気のあるフレームワークだからです。MCPはローカルのGGUFモデルやクラウドのプロバイダーのモデル. また、次の使い方も紹介します 複数のMCPサーバー を活用できます。

MCPツールは次のような他のモデル機能と組み合わせて動作します: コード実行とウェブ検索そのため、1つのモデルでWeb検索、コード実行、接続したサービスの呼び出しを同じスレッド内で行えます。

ユースケース

MCPサーバーを接続すると、ローカルモデルにさまざまな自動タスクを依頼できます。例をいくつか挙げます:

ドキュメントを検索: 「関連するドキュメントを見つけて、セットアップ手順を要約して。」 - Context7を使えます。
コードベースを分析: 「このリポジトリ全体を整理し、認証、課金、データアクセスがどこで行われているか説明して。」 - GitHub公式MCPとGitMCPを使ってリポジトリを分析できます。
埋め込みを使ってWeb検索 - ExaのMCPサーバーは、文脈埋め込み対応の意味検索Web検索に使用できます。
WebサイトのUIをデバッグ - PlaywrightとChrome DevToolsのMCPサーバーを使ってWebサイトを操作し、問題の修正箇所を見つけられます。

クイックスタート

お使いの端末上のローカルモデルをMCPサーバーに接続する方法として、2通りを使います。どちらもオープンソースのパッケージを使用します: Unsloth と llama.cpp モデルの実行、提供、デプロイを行うためのものです。

Unsloth MCPガイド Llama.cpp MCPガイド

🦥 Unslothガイド

この例では、Unslothを使って次のようなローカルモデルを接続します: Qwen3.6 または Gemma 4 MCPサーバーに接続します: Vercel, Context7, Exa と Hugging Face。その後、モデルにそれで何ができるかを尋ねます。手順はどのMCPサーバーでも同じです。

Unslothのセットアップ

始める最も簡単な方法は、 Unsloth Desktop アプリをインストールすることです。対応環境は MacOS、Linux、 Windows, NVIDIA, AMD、Intel、そして CPU 構成です。

Unsloth をダウンロード

または、手動インストールを希望する場合は：

MacOS、Linux、WSL：

curl -fsSL https://unsloth.ai/install.sh | sh

Windows PowerShell：

irm https://unsloth.ai/install.ps1 | iex

こちらを参照詳しい手順についてはこちら。

MCPを有効化

チャットツールバーの「MCP」をクリックします。

Unsloth StudioにはデフォルトでContext7、Exa、Hugging Face向けのMCPサポートがあります。Exaをオンにするとウェブ検索デフォルトの検索ツールが無効になります。

カスタムMCPサーバーを追加

VercelのMCPサーバーを追加するには、「カスタムMCPを追加」をクリックするとポップアップが表示されます:

サーバー情報を入力します:

表示名：分かりやすいラベル。例： Vercel.
URL：サーバーのベースエンドポイント。例： https://mcp.vercel.com.
以下から認証方法を選択します。

ブラウザベースの認証が必要なサーバー（GitHub、Linear、Vercelなど）では、 OAuthサインインを使用をオンにします。初回接続時にブラウザーウィンドウが開き、Unslothを承認できます。

トークンで認証するサーバーでは、OAuthをオフにしたまま ヘッダーを追加 の カスタムヘッダーにある「 Authorization 」ヘッダーにトークンを追加します:

Authorization: Bearer <your-token>

テストして追加

クリック 接続をテスト して、Unslothがサーバーに到達できることを確認します。成功したら、 サーバーを追加 をクリックして保存します。

もし 接続をテスト に失敗する場合は、URLがサーバーのベースエンドポイント（ドキュメントページではない）であることと、認証方法が正しいことを確認してください。下のトラブルシューティングも参照してください。

読み込まれたツールを確認

サーバーがMCP Servers一覧に表示されます。Unslothはツールを自動で取得し、次のような確認メッセージを表示します: 「Vercel」を更新しました（18個のツール）.

各サーバーには次の操作があります: 切り替える オン/オフにする、 更新する そのツールを、 編集する 、または 削除する ことができます。サーバーのトグルと MCPサーバーを使用 のマスタートグルの両方がオンになっていることを確認してから、ダイアログを閉じます。

有効な場合はハイライト表示されます。もう一度クリックするだけで無効にもできます。

チャットで使う

次の Select model ドロップダウンから任意のモデルを選んで、チャットを始めます。これで、要求に応じてモデルが自動的にサーバーのツールを呼び出せます。

上では、ローカルの gemma-4-E2B-it-GGUF に次のように尋ねました 「Vercel MCPサーバーを使えますか？」 そして、実行できる操作として、プロジェクトの管理、ログの分析、チーム一覧の表示、アクセスリンクの生成、ドメインの確認、Vercelドキュメントの検索を報告しました。

複数のMCPサーバーを使う

3つのように複数のMCPサーバーを呼び出してみましょう。Unsloth Studioのデフォルトで提供されているExa、Context7、Hugging FaceのMCPサーバーを使い、3つすべてを有効にします。

「UnslothはQwenのファインチューニングをサポートできますか？」と尋ねると、Exaが詳しく教えてくれます:

続けて「これを行う方法をUnslothのドキュメントで検索して」と尋ねると、Context7がドキュメント検索に使われます:

次に「Hugging Faceでunsloth/Qwenモデルを検索して」と入力すると、Hugging FaceのMCPサーバーが呼び出されます:

別の具体的なユースケース例

サーバーを接続したら、モデルに平易な言葉で実際の作業を依頼できます。Vercelサーバーの例をいくつか挙げます:

失敗したビルドをデバッグ: 「最新のデプロイのビルドログを取得して、失敗した理由を教えて。」
デプロイ状況を確認: 「最新のデプロイとその状態を一覧表示して。」
ドキュメントを検索: 「カスタムドメインの設定方法をVercelドキュメントで検索して。」
ドメイン調査: 「 myproject.dev は利用可能？もし可能なら、費用はいくら？」

🦙 Llama.cppガイド

llama.cppをインストールまたはビルド

macOS:

brew install llama.cpp

または Linux, Windows, WSL ソースからビルドします:

git clone https://github.com/ggml-org/llama.cpp
cmake -S llama.cpp -B llama.cpp/build -DCMAKE_BUILD_TYPE=Release
cmake --build llama.cpp/build --config Release -j --target llama-server llama-cli

GGUFでllama-serverを起動

ここでは Gemma 4 E4B GGUFを使用しています:

llama-server \
  -hf unsloth/gemma-4-E4B-it-GGUF:UD-Q4_K_XL \\
  --alias local \\
  --host 127.0.0.1 \\
  --port 8080 \\
  --no-ui \\
  --temp 1.0 \
  --top-p 0.95 \
  --top-k 64 \
  --reasoning off

より大きいGemma 4 26B-A4Bモデルの場合:

llama-server \
  -hf unsloth/gemma-4-26B-A4B-it-GGUF:UD-Q4_K_M \\
  --alias local \\
  --host 127.0.0.1 \\
  --port 8080 \\
  --no-ui \\
  --temp 1.0 \
  --top-p 0.95 \
  --top-k 64 \
  --reasoning off

推論パラメータの詳細な調整については、 Gemma 4ガイド.

サーバーをテストできます:

curl http://127.0.0.1:8080/v1/chat/completions \\
  -H "Content-Type: application/json" \\
  -H "Authorization: Bearer none" \\
  -d '{
    "model": "local",
    "messages": [{"role": "user", "content": "1文であいさつしてください。"}]
  }'

MCPファイルシステムのサンドボックスを作成

mkdir -p ~/mcp-workspace
cd ~/mcp-workspace
pwd

絶対パスをコピーします。MCPホスト用に別のプロジェクトフォルダを作成します:

mkdir -p ~/llama-mcp
cd ~/llama-mcp

作成 server_config.json:

{
  "mcpServers": {
    "filesystem": {
      "command": "npx",
      "args": [
        "-y",
        "@modelcontextprotocol/server-filesystem",
        "/ABSOLUTE/PATH/TO/mcp-workspace"
      ],
      "env": {}
    }
  }
}

パスを実際のワークスペースのパスに置き換えてください。IBMの mcp-cli ドキュメントでは同じ server_config.json 形式と同じ npx -y @modelcontextprotocol/server-filesystem /path/to/allowed/files ファイルシステム設定を使用しています。

llama.cppに対してターミナルMCPホストを実行

IBMの mcp-cli；これは、チャットモード、ツール検出、カスタムOpenAI互換プロバイダー対応を備えたコマンドラインMCPクライアント／ホストです。ドキュメントでは uvx mcp-cli --help、プロジェクトのサポート、 server_config.json、実行時のカスタムOpenAI互換プロバイダーを次でサポートします: --api-base と --api-key.

mcp-cli 起動には設定ファイルが必要です。そのため、作成する手順を追加する必要があります。たとえば:

mkdir -p ~/.chuk_llm
cat > ~/.chuk_llm/config.yaml <<'YAML'
openai_compatible:
  client_class: "chuk_llm.llm.providers.openai_client:OpenAILLMClient"
  default_model: "local"
  models: ["*"]
YAML

次に実行します:

uvx mcp-cli \\
  --provider llamacpp \\
  --api-base http://127.0.0.1:8080/v1 \\
  --api-key none \\
  --model local \\
  --server filesystem \\
  --config-file server_config.json

次に試します:

ファイルシステムのワークスペース内のファイルを一覧表示してください。

次に:

hello.txtを1行のあいさつで作成し、その後で読み返してください。

mcp-cli はデフォルトでツール呼び出しの確認が有効なので、ツール実行前にプロンプトが表示されます。

完全なコード例:

# terminal 1
llama-server -hf unsloth/gemma-4-E4B-it-GGUF:UD-Q4_K_XL \\
  --alias local --host 127.0.0.1 --port 8080 --no-ui \\
  --temp 1.0 --top-p 0.95 --top-k 64 \\
  --chat-template-kwargs '{"enable_thinking":false}'

# ターミナル2、server_config.jsonのあるフォルダで
uvx mcp-cli \\
  --provider llamacpp \\
  --api-base http://127.0.0.1:8080/v1 \\
  --api-key none \\
  --model local \\
  --server filesystem \\
  --config-file server_config.json

トラブルシューティング

サーバーへの接続に失敗したり、ツールが表示されなかったりする場合は、URLがサーバーのベースエンドポイント（例： https://mcp.vercel.com）であり、ドキュメントページやダッシュボードページではないことを確認してください。OAuthサーバーでは、開いたらブラウザーでサインインを完了してください。トークンベースのサーバーでは、 Authorization ヘッダーとトークンが有効であることを確認してください。

クリック更新接続後にツールが表示されない場合は、 MCPサーバーを使用 個別のサーバートグルとマスタートグルの両方がオンになっていることを確認してください。

セキュリティに関する注意

信頼できるMCPサーバーのみを接続してください。要求される権限を確認し、プライベートデータの読み取り、デプロイの変更、ドメイン購入、プロジェクトの変更などの操作では人による確認を有効にしておいてください。MCPサーバーをWeb検索や他のツールと組み合わせる場合は特に注意してください。プロンプト注入されたコンテンツが不要なツール呼び出しを引き起こそうとする可能性があります。