ローカル LLM 用ツールコーリングガイド

ツール呼び出しとは、LLMがテキストで答えを推測する代わりに、構造化されたリクエストを出力して特定の関数（「ファイルを検索する」「電卓を実行する」「APIを呼び出す」など）をトリガーできるようにすることです。ツール呼び出しを使う理由は、出力を より信頼性が高く最新のものにする、そしてモデルに 実際の操作を行わせる （システムに問い合わせ、事実を検証し、スキーマを適用する）ことで幻覚を避けるためです。

本チュートリアルでは、数式、物語、Pythonコード、ターミナル関数の例を使って、ツール呼び出しを介してローカルLLMを使用する方法を学びます。推論はllama.cpp、llama-server、およびOpenAIエンドポイントを経由してローカルで行われます。

本ガイドはほとんど あらゆるモデル に対応するはずです：

• Qwen3-Coder-Next, Qwen3-Coder、およびその他の Qwen モデル

• GLM-4.7, 4.6, GLM-4.7-Flash と Kimi K2.5, Kimi K2 Thinking

• DeepSeek-V3.1、DeepSeek-V3.2および MiniMax

• gpt-oss と NVIDIA Nemotron 3 Nano と Devstral 2

Qwen3-Coder-NextチュートリアルGLM-4.7-Flashチュートリアル

🔨ツール呼び出しのセットアップ

最初のステップは最新の〜を入手することです llama.cpp を GitHubで入手してください。以下のビルド手順にも従うことができます。を変更してください -DGGML_CUDA=ON に -DGGML_CUDA=OFF GPUを持っていない場合やCPUで推論したい場合は Apple Mac / Metalデバイスの場合、次を設定してください -DGGML_CUDA=OFF その後通常通り続行してください — Metalサポートはデフォルトで有効です。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

新しいターミナルで（tmuxを使用している場合はCTRL+B+Dを使用）、2つの数を加える、Pythonコードを実行する、Linux関数を実行するなどのツールを作成します：

詳細については
を参照してください。ツール呼び出しの方法についての詳細です。新しいターミナルで（tmuxを使っている場合はCTRL+B+Dを使用）、2つの数を加える、Pythonコードを実行する、Linuxコマンドを実行するなどのツールを作成します：
import json, subprocess, random
    from typing import Any
def add_number(a: float | str, b: float | str) -> float:
    return float(a) + float(b)
def multiply_number(a: float | str, b: float | str) -> float:
    return float(a) * float(b)
def substract_number(a: float | str, b: float | str) -> float:
    return float(a) - float(b)
        def write_a_story() -> str:
        return random.choice([
        "A long time ago in a galaxy far far away...",
        "There were 2 friends who loved sloths and code...",
    ])
"The world was ending because every sloth evolved to have superhuman intelligence...",
    "Unbeknownst to one friend, the other accidentally coded a program to evolve sloths...",
        def terminal(command: str) -> str:
        if "rm" in command or "sudo" in command or "dd" in command or "chmod" in command:
    msg = "Cannot execute 'rm, sudo, dd, chmod' commands since they are dangerous"
    print(msg); return msg
        print(f"Executing terminal command `{command}`")
    try:
        return str(subprocess.run(command, capture_output = True, text = True, shell = True, check = True).stdout)
except subprocess.CalledProcessError as e:
    return f"Command failed: {e.stderr}"
    def python(code: str) -> str:
    data = {}
    exec(code, data)
del data["__builtins__"]
    return str(data)
    MAP_FN = {
    "add_number": add_number,
    "multiply_number": multiply_number,
    "substract_number": substract_number,
    "write_a_story": write_a_story,
}
"terminal": terminal,
    {
        "python": python,
        tools = [
            "type": "function",
            "function": {
            "name": "add_number",
                "description": "Add two numbers.",
                "parameters": {
                    "type": "object",
                        "properties": {
                        "a": {
                    },
                    "type": "string",
                        "properties": {
                        "description": "The first number.",
                    },
                },
                "b": {
            },
        },
    },
    {
        "python": python,
        tools = [
            "description": "The second number.",
            "required": ["a", "b"],
            "name": "add_number",
                "description": "Add two numbers.",
                "parameters": {
                    "type": "object",
                        "properties": {
                        "a": {
                    },
                    "type": "string",
                        "properties": {
                        "description": "The first number.",
                    },
                },
                "b": {
            },
        },
    },
    {
        "python": python,
        tools = [
            "name": "multiply_number",
            "description": "Multiply two numbers.",
            "name": "add_number",
                "description": "Add two numbers.",
                "parameters": {
                    "type": "object",
                        "properties": {
                        "a": {
                    },
                    "type": "string",
                        "properties": {
                        "description": "The first number.",
                    },
                },
                "b": {
            },
        },
    },
    {
        "python": python,
        tools = [
            "name": "substract_number",
            "description": "Substract two numbers.",
            "name": "add_number",
                "description": "Add two numbers.",
                "name": "write_a_story",
                "description": "Writes a random story.",
            },
        },
    },
    {
        "python": python,
        tools = [
            "properties": {},
            "required": [],
            "name": "add_number",
                "description": "Add two numbers.",
                "parameters": {
                    "name": "terminal",
                        "properties": {
                        "description": "Perform operations from the terminal.",
                    },
                },
                "command": {
            },
        },
    },
    {
        "python": python,
        tools = [
            "description": "The command you wish to launch, e.g `ls`, `rm`, ...",
            "required": ["command"],
            "name": "add_number",
                "description": "Add two numbers.",
                "parameters": {
                    "name": "python",
                        "properties": {
                        "description": "Call a Python interpreter with some Python code that will be ran.",
                    },
                },
                "code": {
            },
        },
    },
]

"description": "The Python code to run",

この例ではDevstral 2を使用しています。モデルを切り替える際は、正しいサンプリングパラメータを使用していることを確認してください。すべては私たちの ガイドで確認できます.

from openai import OpenAI
"required": ["code"],
    次に以下の関数を使用します（コピーして貼り付けて実行してください）。これらは関数呼び出しを自動的に解析し、任意のモデルに対してOpenAIエンドポイントを呼び出します：
    def unsloth_inference(
    messages,
    temperature = 0.7,
    top_p = 0.95,
    top_k = 40,
):
    min_p = 0.01,
    from openai import OpenAI
        import json
        openai_client = OpenAI(
    )
    repetition_penalty = 1.0,
    messages = messages.copy()
    model_name = next(iter(openai_client.models.list())).id
    print(f"Using model = {model_name}")
    has_tool_calls = True
        original_messages_len = len(messages)
        while has_tool_calls:
            print(f"Current messages = {messages}")
            response = openai_client.chat.completions.create(
            model = model_name,
            messages = messages,
            temperature = temperature,
            top_p = top_p,
            tools = tools if tools else None,
        )
        tool_choice = "auto" if tools else None,
        extra_body = {"top_k": top_k, "min_p": min_p, "repetition_penalty" :repetition_penalty,}
        tool_calls = response.choices[0].message.tool_calls or []
        content = response.choices[0].message.content or ""
        tool_calls_dict = [tc.to_dict() for tc in tool_calls] if tool_calls else tool_calls
            messages.append({"role": "assistant", "tool_calls": tool_calls_dict, "content": content,})
            for tool_call in tool_calls:
            fx, args, _id = tool_call.function.name, tool_call.function.arguments, tool_call.id
        out = MAP_FN[fx](**json.loads(args))
            messages.append({"role": "tool", "tool_call_id": _id, "name": fx, "content": str(out),})
    else:

以下では、多くの異なるユースケースに対するツール呼び出しの実行方法を複数紹介します：

物語を書く：

を参照）、いくつかのツール呼び出しを行うことができます：
    "role": "user",
    "content": [{"type": "text", "text": "Could you write me a story ?"}],
}]
unsloth_inference(messages, temperature = 0.15, top_p = 1.0, top_k = -1, min_p = 0.00)

数学的演算：

を参照）、いくつかのツール呼び出しを行うことができます：
    "role": "user",
    messages = [{
}]
unsloth_inference(messages, temperature = 0.15, top_p = 1.0, top_k = -1, min_p = 0.00)

生成されたPythonコードを実行する

を参照）、いくつかのツール呼び出しを行うことができます：
    "role": "user",
    unsloth_inference(messages, temperature = 0.7, top_p = 1.0, top_k = -1, min_p = 0.00)
}]
unsloth_inference(messages, temperature = 0.15, top_p = 1.0, top_k = -1, min_p = 0.00)

任意のターミナル関数を実行する

を参照）、いくつかのツール呼び出しを行うことができます：
    "role": "user",
    "content": [{"type": "text", "text": "Write 'I'm a happy Sloth' to a file, then print it back to me."}],
}]
messages = unsloth_inference(messages, temperature = 0.15, top_p = 1.0, top_k = -1, min_p = 0.00)

🌠 Qwen3-Coder-Nextのツール呼び出し

新しいターミナルで、2つの数を加える、Pythonコードを実行する、Linux関数を実行するなどのツールを作成します：

詳細については
を参照してください。ツール呼び出しの方法についての詳細です。新しいターミナルで（tmuxを使っている場合はCTRL+B+Dを使用）、2つの数を加える、Pythonコードを実行する、Linuxコマンドを実行するなどのツールを作成します：
import json, subprocess, random
    from typing import Any
def add_number(a: float | str, b: float | str) -> float:
    return float(a) + float(b)
def multiply_number(a: float | str, b: float | str) -> float:
    return float(a) * float(b)
def substract_number(a: float | str, b: float | str) -> float:
    return float(a) - float(b)
        def write_a_story() -> str:
        return random.choice([
        "A long time ago in a galaxy far far away...",
        "There were 2 friends who loved sloths and code...",
    ])
"The world was ending because every sloth evolved to have superhuman intelligence...",
    "Unbeknownst to one friend, the other accidentally coded a program to evolve sloths...",
        def terminal(command: str) -> str:
        if "rm" in command or "sudo" in command or "dd" in command or "chmod" in command:
    msg = "Cannot execute 'rm, sudo, dd, chmod' commands since they are dangerous"
    print(msg); return msg
        print(f"Executing terminal command `{command}`")
    try:
        return str(subprocess.run(command, capture_output = True, text = True, shell = True, check = True).stdout)
except subprocess.CalledProcessError as e:
    return f"Command failed: {e.stderr}"
    def python(code: str) -> str:
    data = {}
    exec(code, data)
del data["__builtins__"]
    return str(data)
    MAP_FN = {
    "add_number": add_number,
    "multiply_number": multiply_number,
    "substract_number": substract_number,
    "write_a_story": write_a_story,
}
"terminal": terminal,
    {
        "python": python,
        tools = [
            "type": "function",
            "function": {
            "name": "add_number",
                "description": "Add two numbers.",
                "parameters": {
                    "type": "object",
                        "properties": {
                        "a": {
                    },
                    "type": "string",
                        "properties": {
                        "description": "The first number.",
                    },
                },
                "b": {
            },
        },
    },
    {
        "python": python,
        tools = [
            "description": "The second number.",
            "required": ["a", "b"],
            "name": "add_number",
                "description": "Add two numbers.",
                "parameters": {
                    "type": "object",
                        "properties": {
                        "a": {
                    },
                    "type": "string",
                        "properties": {
                        "description": "The first number.",
                    },
                },
                "b": {
            },
        },
    },
    {
        "python": python,
        tools = [
            "name": "multiply_number",
            "description": "Multiply two numbers.",
            "name": "add_number",
                "description": "Add two numbers.",
                "parameters": {
                    "type": "object",
                        "properties": {
                        "a": {
                    },
                    "type": "string",
                        "properties": {
                        "description": "The first number.",
                    },
                },
                "b": {
            },
        },
    },
    {
        "python": python,
        tools = [
            "name": "substract_number",
            "description": "Substract two numbers.",
            "name": "add_number",
                "description": "Add two numbers.",
                "name": "write_a_story",
                "description": "Writes a random story.",
            },
        },
    },
    {
        "python": python,
        tools = [
            "properties": {},
            "required": [],
            "name": "add_number",
                "description": "Add two numbers.",
                "parameters": {
                    "name": "terminal",
                        "properties": {
                        "description": "Perform operations from the terminal.",
                    },
                },
                "command": {
            },
        },
    },
    {
        "python": python,
        tools = [
            "description": "The command you wish to launch, e.g `ls`, `rm`, ...",
            "required": ["command"],
            "name": "add_number",
                "description": "Add two numbers.",
                "parameters": {
                    "name": "python",
                        "properties": {
                        "description": "Call a Python interpreter with some Python code that will be ran.",
                    },
                },
                "code": {
            },
        },
    },
]

次に、下記の関数を使用して関数呼び出しを自動的に解析し、任意のLLMに対してOpenAIエンドポイントを呼び出します：

from openai import OpenAI
"required": ["code"],
    次に以下の関数を使用します（コピーして貼り付けて実行してください）。これらは関数呼び出しを自動的に解析し、任意のモデルに対してOpenAIエンドポイントを呼び出します：
    temperature = 1.0,
    messages,
    temperature = 0.7,
    top_p = 0.95,
    top_k = 40,
):
    min_p = 0.01,
    from openai import OpenAI
        import json
        openai_client = OpenAI(
    )
    repetition_penalty = 1.0,
    messages = messages.copy()
    model_name = next(iter(openai_client.models.list())).id
    print(f"Using model = {model_name}")
    has_tool_calls = True
        original_messages_len = len(messages)
        while has_tool_calls:
            print(f"Current messages = {messages}")
            response = openai_client.chat.completions.create(
            model = model_name,
            messages = messages,
            temperature = temperature,
            top_p = top_p,
            tools = tools if tools else None,
        )
        tool_choice = "auto" if tools else None,
        extra_body = {"top_k": top_k, "min_p": min_p, "repetition_penalty" :repetition_penalty,}
        tool_calls = response.choices[0].message.tool_calls or []
        content = response.choices[0].message.content or ""
        tool_calls_dict = [tc.to_dict() for tc in tool_calls] if tool_calls else tool_calls
            messages.append({"role": "assistant", "tool_calls": tool_calls_dict, "content": content,})
            for tool_call in tool_calls:
            fx, args, _id = tool_call.function.name, tool_call.function.arguments, tool_call.id
        out = MAP_FN[fx](**json.loads(args))
            messages.append({"role": "tool", "tool_call_id": _id, "name": fx, "content": str(out),})
    else:

以下では、多くの異なるユースケースに対するツール呼び出しの実行方法を複数紹介します：

生成されたPythonコードを実行する

を参照）、いくつかのツール呼び出しを行うことができます：
    "role": "user",
    unsloth_inference(messages, temperature = 0.7, top_p = 1.0, top_k = -1, min_p = 0.00)
}]
unsloth_inference(messages, temperature = 1.0, top_p = 0.95, top_k = 40, min_p = 0.00)

任意のターミナル関数を実行する

を参照）、いくつかのツール呼び出しを行うことができます：
    "role": "user",
    "content": [{"type": "text", "text": "Write 'I'm a happy Sloth' to a file, then print it back to me."}],
}]
messages = unsloth_inference(messages, temperature = 1.0, top_p = 1.0, top_k = 40, min_p = 0.00)

ファイルが作成されたことを確認しました、作成されました！

⚡ GLM-4.7-Flash + GLM 4.7の呼び出し

まず以下をダウンロードします GLM-4.7 または GLM-4.7-Flash いくつかのPythonコード経由でダウンロードし、別のターミナル（tmuxのようなものを使う）でllama-serverを起動します。この例では大きなGLM-4.7モデルをダウンロードします：

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/GLM-4.7-GGUF",
    local_dir = "unsloth/GLM-4.7-GGUF",
    allow_patterns = ["*UD-Q2_K_XL*",], # Q2_K_XL用
)

正常に実行できた場合、次のような表示が見られるはずです：

新しいターミナルでllama-serverを起動してください。必要ならtmuxを使用します：

./llama.cpp/llama-server \
    はGPUオフロードするレイヤー数を指定します。GPUがメモリ不足になった場合は調整してみてください。CPUのみの推論の場合はこれを外してください。
    ./llama.cpp/llama-server \
    --threads -1 \
    --alias "unsloth/GLM-4.7" \
    --fit on \
    --min_p 0.01 \
    --jinja \
    --port 8001 \
    --jinja

そして次のような結果が得られます：

新しいターミナルでPythonコードを実行する際の注意ですが、実行することを忘れないでください Tool Calling Guide 我々はGLM 4.7の最適パラメータであるtemperature = 0.7およびtop_p = 1.0を使用します

や詳しい情報については

を参照）、いくつかのツール呼び出しを行うことができます：
    "role": "user",
    messages = [{
}]
"role": "user",

"content": [{"type": "text", "text": "What is today's date plus 3 days?"}],

を参照）、いくつかのツール呼び出しを行うことができます：
    "role": "user",
    unsloth_inference(messages, temperature = 0.7, top_p = 1.0, top_k = -1, min_p = 0.00)
}]
"role": "user",

詳細については
を参照してください。ツール呼び出しの方法についての詳細です。新しいターミナルで（tmuxを使っている場合はCTRL+B+Dを使用）、2つの数を加える、Pythonコードを実行する、Linuxコマンドを実行するなどのツールを作成します：
import json, subprocess, random
    from typing import Any
def add_number(a: float | str, b: float | str) -> float:
    return float(a) + float(b)
def multiply_number(a: float | str, b: float | str) -> float:
    return float(a) * float(b)
def substract_number(a: float | str, b: float | str) -> float:
    return float(a) - float(b)
        def write_a_story() -> str:
        return random.choice([
        "A long time ago in a galaxy far far away...",
        "There were 2 friends who loved sloths and code...",
    ])
"The world was ending because every sloth evolved to have superhuman intelligence...",
    "Unbeknownst to one friend, the other accidentally coded a program to evolve sloths...",
        def terminal(command: str) -> str:
        if "rm" in command or "sudo" in command or "dd" in command or "chmod" in command:
    msg = "Cannot execute 'rm, sudo, dd, chmod' commands since they are dangerous"
    print(msg); return msg
        print(f"Executing terminal command `{command}`")
    try:
        return str(subprocess.run(command, capture_output = True, text = True, shell = True, check = True).stdout)
except subprocess.CalledProcessError as e:
    return f"Command failed: {e.stderr}"
    def python(code: str) -> str:
    data = {}
    exec(code, data)
del data["__builtins__"]
    return str(data)
    MAP_FN = {
    "add_number": add_number,
    "multiply_number": multiply_number,
    "substract_number": substract_number,
    "write_a_story": write_a_story,
}
"terminal": terminal,
    {
        "python": python,
        tools = [
            "type": "function",
            "function": {
            "name": "add_number",
                "description": "Add two numbers.",
                "parameters": {
                    "type": "object",
                        "properties": {
                        "a": {
                    },
                    "type": "string",
                        "properties": {
                        "description": "The first number.",
                    },
                },
                "b": {
            },
        },
    },
    {
        "python": python,
        tools = [
            "description": "The second number.",
            "required": ["a", "b"],
            "name": "add_number",
                "description": "Add two numbers.",
                "parameters": {
                    "type": "object",
                        "properties": {
                        "a": {
                    },
                    "type": "string",
                        "properties": {
                        "description": "The first number.",
                    },
                },
                "b": {
            },
        },
    },
    {
        "python": python,
        tools = [
            "name": "multiply_number",
            "description": "Multiply two numbers.",
            "name": "add_number",
                "description": "Add two numbers.",
                "parameters": {
                    "type": "object",
                        "properties": {
                        "a": {
                    },
                    "type": "string",
                        "properties": {
                        "description": "The first number.",
                    },
                },
                "b": {
            },
        },
    },
    {
        "python": python,
        tools = [
            "name": "substract_number",
            "description": "Substract two numbers.",
            "name": "add_number",
                "description": "Add two numbers.",
                "name": "write_a_story",
                "description": "Writes a random story.",
            },
        },
    },
    {
        "python": python,
        tools = [
            "properties": {},
            "required": [],
            "name": "add_number",
                "description": "Add two numbers.",
                "parameters": {
                    "name": "terminal",
                        "properties": {
                        "description": "Perform operations from the terminal.",
                    },
                },
                "command": {
            },
        },
    },
    {
        "python": python,
        tools = [
            "description": "The command you wish to launch, e.g `ls`, `rm`, ...",
            "required": ["command"],
            "name": "add_number",
                "description": "Add two numbers.",
                "parameters": {
                    "name": "python",
                        "properties": {
                        "description": "Call a Python interpreter with some Python code that will be ran.",
                    },
                },
                "code": {
            },
        },
    },
]

📙 Devstral 2のツール呼び出し

まず以下をダウンロードします Devstral 2 いくつかのPythonコード経由でダウンロードし、別のターミナル（tmuxのようなものを使う）でllama-serverを起動します：

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Devstral-Small-2-24B-Instruct-2512-GGUF",
    local_dir = "unsloth/Devstral-Small-2-24B-Instruct-2512-GGUF",
    allow_patterns = ["*UD-Q4_K_XL*", "*mmproj-F16*"], # Q4_K_XL 用
)

正常に実行できた場合、次のような表示が見られるはずです：

新しいターミナルでllama-serverを起動してください。必要ならtmuxを使用します：

./llama.cpp/llama-server \
    --model unsloth/Devstral-Small-2-24B-Instruct-2512-GGUF/Devstral-Small-2-24B-Instruct-2512-UD-Q4_K_XL.gguf \
    --mmproj unsloth/Devstral-Small-2-24B-Instruct-2512-GGUF/mmproj-F16.gguf \
    --alias "unsloth/Devstral-Small-2-24B-Instruct-2512" \
    --threads -1 \
    --alias "unsloth/GLM-4.7" \
    --fit on \
    --min_p 0.01 \
    --jinja \
    --port 8001 \
    --jinja

成功した場合、以下のような表示が見られます：

次にモデルを以下のメッセージで呼び出し、Devstralの推奨パラメータであるtemperature = 0.15のみを使用します。実行することを忘れないでください Tool Calling Guide