GLM-5.1 - ローカルでの実行方法

Z.aiの新しいGLM-5.1モデルを自分のローカルデバイスで実行しましょう！

GLM-5.1 は Z.ai の新しいオープンモデルです。GLM-5 と比べて GLM-5、コーディング、エージェント的なツール利用、推論、ロールプレイ、長期エージェントタスク、そして全体的なチャット品質が大幅に向上しています。

完全版の 744B パラメータ（40B アクティブ）の GLM-5.1 モデルには 200K コンテキスト ウィンドウがあり、必要なのは 1.65TB のディスク容量です。Unsloth Dynamic 2-bit GGUF にするとサイズは 220GB (-80%)になり、dynamic 1-bit は 200GB（-85%）です： GLM-5.1-GGUF

すべてのアップロードは Unsloth を使用します Dynamic 2.0 SOTA の量子化性能のためです。つまり、低ビットでは重要な層が 8 ビットまたは 16 ビットにアップキャストされます。初日からアクセスを提供してくれた Z.ai に感謝します。

⚙️ 使用ガイド

中サイズの 2-bit 動的量子化 UD-IQ2_M は 236GB のディスク容量を使用します。これは 256GBユニファイドメモリ搭載のMac に直接収まり、 1x24GB GPU と および256GBのRAM MoE オフロード付きです。 1ビット この量子化版は 220GB の RAM に収まり、8-bit には 805GB の RAM が必要です。

最適なパフォーマンスのために、利用可能な総メモリ（VRAM + システム RAM）が、ダウンロードする量子化済みモデルファイルのサイズを上回っていることを確認してください。そうでない場合でも llama.cpp は SSD/HDD オフロードで実行できますが、推論は遅くなります。

推奨設定

用途ごとに異なる設定を使います：

デフォルト設定（ほとんどのタスク）	Terminal Bench
temperature = 1.0	temperature = 0.7
top_p = 0.95	top_p = 1.0
最大新規トークン数 = 131072	最大新規トークン数 = 16384

• 最大コンテキストウィンドウ： 202,752.

• GLM-5.1 では、思考はデフォルトで有効です。思考を無効にするには：

    --chat-template-kwargs '{"enable_thinking":false}'

チャットテンプレートの更新

GLM-5.1 は GLM-5 と同じアーキテクチャを採用しており、ただ chat_template.jinja が異なります。

• Claude の検索ツールをサポートします。以下を持つツールは defer_loading=True システムプロンプトから省略され、代わりにツール結果に表示されます。

• 空の推論ブロック（<think></think>）をアシスタントメッセージで許可します。連続するアシスタントメッセージは、思考モードか非思考モードのどちらか同じモードのままでなければなりません。

• 全体として、GLM-5.1 は主にツールの露出、推論履歴の再構築、ツールメッセージのレンダリングを改善しています。

GLM-5.1 のチュートリアルを実行：

GLM-5.1 を次の環境で実行できるようになりました： llama.cpp と Unsloth Studio.

🦥 Unsloth Studio で実行

GLM-5.1 は次の環境で実行できるようになりました： Unsloth Studio。これはローカルAI向けの新しいオープンソースWeb UIです。Unsloth Studioでは、モデルをローカルで次の環境上で実行できます： MacOS、Windows、Linux、および次の機能：

• 検索、ダウンロード、 GGUFの実行 およびsafetensorモデル

• 自己修復 ツール呼び出し + ウェブ検索

• コード実行 （Python、Bash）

• 自動推論 パラメータ調整（temp、top-pなど）

• 高速な CPU + GPU 推論と CPU オフロードのために llama.cpp を使用します

1

Unslothをインストール

ターミナルで実行：

MacOS、Linux、WSL：

curl -fsSL https://unsloth.ai/install.sh | sh

Windows PowerShell：

irm https://unsloth.ai/install.ps1 | iex

2

Unslothを起動

MacOS、Linux、WSL、およびWindows：

unsloth studio -H 0.0.0.0 -p 8888

次に開く http://localhost:8888 をブラウザーで。

3

GLM-5.1 を検索してダウンロード

初回起動時には、アカウントを保護し、後で再度サインインするためのパスワードを作成する必要があります。その後、モデル、データセット、基本設定を選ぶための簡単な初期設定ウィザードが表示されます。いつでもスキップできます。

次を選択できます UD-Q2_K_XL (dynamic 2bit 量子化) や、次のような他の量子化版も選べます： UD-Q4_K_XL 。私たちは 2bit 動的量子化の使用を推奨します UD-Q2_K_XL サイズと精度のバランスを取るためです。ダウンロードが止まる場合は、 Hugging Face Hub、XET デバッグ

次に〜へ移動し Unsloth Chat タブを開き、検索バーで GLM-5.1 を検索して、目的のモデルと量子化版をダウンロードしてください。サイズが大きいためダウンロードには時間がかかりますので、お待ちください。高速な推論を確実にするには、次を満たしていることを確認してください： 十分な RAM/VRAM。そうでなくても推論は動作しますが、Unsloth は CPU にオフロードします。

4

GLM-5.1 を実行

Unsloth Studioを使うと推論パラメータは自動設定されますが、手動でも変更できます。コンテキスト長、チャットテンプレート、その他の設定も編集できます。

詳細については、次を参照してください Unsloth Studio推論ガイド.

🦙 llama.cpp で実行

1

最新の llama.cpp こちら GitHub はこちら。以下のビルド手順に従うこともできます。変更してください -DGGML_CUDA=ON を -DGGML_CUDA=OFF GPU がない場合、または CPU 推論のみを使用したい場合。 Apple Mac / Metal デバイスの場合、次を設定し -DGGML_CUDA=OFF その後は通常どおり続行してください。Metal サポートはデフォルトで有効です。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2

もし llama.cpp モデルを直接読み込むには、以下のようにできます（：IQ2_M）は量子化タイプです。Hugging Face 経由でもダウンロードできます（ポイント 3）。これは次と似ています： ollama run に似ています。 export LLAMA_CACHE="folder" して llama.cpp を使って特定の場所に保存します。モデルの最大コンテキスト長は 200K であることを忘れないでください。

これに従ってください： 一般的な指示 ユースケース：

export LLAMA_CACHE="unsloth/GLM-5.1-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/GLM-5.1-GGUF:UD-IQ2_M \\
    --ctx-size 16384 \\
    --temp 0.7 \
    --top-p 1.0

これに従ってください： ツール呼び出し ユースケース：

export LLAMA_CACHE="unsloth/GLM-5.1-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/GLM-5.1-GGUF:UD-IQ2_M \\
    --ctx-size 16384 \\
    --temp 1.0 \\
    --top-p 0.95

3

（以下をインストールした後）モデルを次の方法でダウンロードしてください pip install huggingface_hub hf_transfer をインストールした後）。 UD-Q2_K_XL (dynamic 2bit 量子化) や、次のような他の量子化版も選べます： UD-Q4_K_XL 。私たちは 2bit 動的量子化の使用を推奨します UD-Q2_K_XL サイズと精度のバランスを取るためです。ダウンロードが止まる場合は、 Hugging Face Hub、XET デバッグ

pip install -U huggingface_hub
hf download unsloth/GLM-5.1-GGUF \\
    --local-dir unsloth/GLM-5.1-GGUF \\
    --include "*UD-IQ2_M*" # Dynamic 1bit には "*UD-TQ1_0*" を使用

4

次を編集できます --threads 32 CPUスレッド数として --ctx-size 16384 コンテキスト長として --n-gpu-layers 2 GPUオフロードする層数として指定します。GPUのメモリ不足が起きる場合は調整してください。CPUのみで推論する場合は削除してください。

./llama.cpp/llama-cli \
    --model unsloth/GLM-5.1-GGUF/UD-IQ2_M/GLM-5.1-UD-IQ2_M-00001-of-00006.gguf \\
    --temp 1.0 \\
    --top-p 0.95 \\
    --ctx-size 16384 \\
    --seed 3407

🦙 Llama-server の提供と OpenAI の completion ライブラリ

GLM-5.1 を本番環境にデプロイするには、次を使用します llama-server 新しいターミナルで、tmux などを使って、次の方法でモデルをデプロイします：

./llama.cpp/llama-server \\
    --model unsloth/GLM-5.1-GGUF/UD-IQ2_M/GLM-5.1-UD-IQ2_M-00001-of-00006.gguf \\
    --alias "unsloth/GLM-5.1" \\
    --prio 3 \\
    --temp 1.0 \\
    --top-p 0.95 \\
    --ctx-size 16384 \\
    --port 8001

その後、新しいターミナルで、次を行ってから pip install openai、次を実行します：

from openai import OpenAI
import json
openai_client = OpenAI(
    base_url = "http://127.0.0.1:8001/v1",
    api_key = "sk-no-key-required",
)
completion = openai_client.chat.completions.create(
    model = "unsloth/GLM-5.1",
    messages = [{"role": "user", "content": "スネークゲームを作成してください。"},],
)
print(completion.choices[0].message.content)

その後、OpenAI API 経由で提供中のモデルを呼び出せます：

from openai import AsyncOpenAI, OpenAI
openai_api_key = "EMPTY"
openai_api_base = "http://localhost:8001/v1"
client = OpenAI( # or AsyncOpenAI
    api_key = openai_api_key,
    base_url = openai_api_base,
)

🔨GLM-5.1 でのツール呼び出し

参照 Tool Calling Guide ツール呼び出しの方法の詳細については、こちらをご覧ください。新しいターミナルで（tmux を使っている場合は CTRL+B+D）、2つの数値を加算する、Python コードを実行する、Linux の関数を実行するなど、いくつかのツールを作成します：

import json, subprocess, random
from typing import Any
def add_number(a: float | str, b: float | str) -> float:
    return float(a) + float(b)
def multiply_number(a: float | str, b: float | str) -> float:
    return float(a) * float(b)
def subtract_number(a: float | str, b: float | str) -> float:
    return float(a) - float(b)
def write_a_story() -> str:
    return random.choice([
        "はるか彼方の銀河系で、ずっと昔に……",
        "ナマケモノとコードが大好きな2人の友人がいました……",
        "すべてのナマケモノが超人的な知能を持つよう進化したため、世界は終わりを迎えつつありました……",
        "ある友人には知られぬまま、もう一人の友人がうっかりナマケモノを進化させるプログラムを書いていました……",
    ])
def terminal(command: str) -> str:
    if "rm" in command or "sudo" in command or "dd" in command or "chmod" in command:
        msg = "'rm, sudo, dd, chmod' コマンドは危険なため実行できません"
        print(msg); return msg
    print(f"ターミナルコマンド `{command}` を実行しています")
    try:
        return str(subprocess.run(command, capture_output = True, text = True, shell = True, check = True).stdout)
    except subprocess.CalledProcessError as e:
        return f"コマンドに失敗しました: {e.stderr}"
def python(code: str) -> str:
    data = {}
    exec(code, data)
    del data["__builtins__"]
    return str(data)
MAP_FN = {
    "add_number": add_number,
    "multiply_number": multiply_number,
    "subtract_number": subtract_number,
    "write_a_story": write_a_story,
    "terminal": terminal,
    "python": python,
}
tools = [
    {
        "type": "function",
        "function": {
            "name": "add_number",
            "description": "2つの数を加算します。",
            "parameters": {
                "type": "object",
                "properties": {
                    "a": {
                        "type": "string",
                        "description": "最初の数です。",
                    },
                    "b": {
                        "type": "string",
                        "description": "2番目の数です。",
                    },
                },
                "required": ["a", "b"],
            },
        },
    },
    {
        "type": "function",
        "function": {
            "name": "multiply_number",
            "description": "2つの数を掛け算します。",
            "parameters": {
                "type": "object",
                "properties": {
                    "a": {
                        "type": "string",
                        "description": "最初の数です。",
                    },
                    "b": {
                        "type": "string",
                        "description": "2番目の数です。",
                    },
                },
                "required": ["a", "b"],
            },
        },
    },
    {
        "type": "function",
        "function": {
            "name": "subtract_number",
            "description": "2つの数を引き算します。",
            "parameters": {
                "type": "object",
                "properties": {
                    "a": {
                        "type": "string",
                        "description": "最初の数です。",
                    },
                    "b": {
                        "type": "string",
                        "description": "2番目の数です。",
                    },
                },
                "required": ["a", "b"],
            },
        },
    },
    {
        "type": "function",
        "function": {
            "name": "write_a_story",
            "description": "ランダムな物語を書きます。",
            "parameters": {
                "type": "object",
                "properties": {},
                "required": [],
            },
        },
    },
    {
        "type": "function",
        "function": {
            "name": "terminal",
            "description": "ターミナルから操作を実行します。",
            "parameters": {
                "type": "object",
                "properties": {
                    "command": {
                        "type": "string",
                        "description": "実行したいコマンドです。例: `ls`, `rm`, ...",
                    },
                },
                "required": ["command"],
            },
        },
    },
    {
        "type": "function",
        "function": {
            "name": "python",
            "description": "実行する Python コードを使って Python インタープリタを呼び出します。",
            "parameters": {
                "type": "object",
                "properties": {
                    "code": {
                        "type": "string",
                        "description": "実行する Python コードです",
                    },
                },
                "required": ["code"],
            },
        },
    },
]

その後、以下の関数を使用します（コピーして貼り付けて実行してください）。これにより関数呼び出しを自動的に解析し、任意のモデルに対して OpenAI エンドポイントを呼び出します：

from openai import OpenAI
def unsloth_inference(
    messages,
    temperature = 1.0,
    top_p = 0.95,
    top_k = -1,
    min_p = 0.01,
    repetition_penalty = 1.0,
):
    messages = messages.copy()
    openai_client = OpenAI(
        base_url = "http://127.0.0.1:8001/v1",
        api_key = "sk-no-key-required",
    )
    model_name = next(iter(openai_client.models.list())).id
    print(f"使用モデル = {model_name}")
    has_tool_calls = True
    original_messages_len = len(messages)
    while has_tool_calls:
        print(f"現在のメッセージ = {messages}")
        response = openai_client.chat.completions.create(
            model = model_name,
            messages = messages,
            temperature = temperature,
            top_p = top_p,
            tools = tools if tools else None,
            tool_choice = "auto" if tools else None,
            extra_body = {"top_k": top_k, "min_p": min_p, "repetition_penalty" :repetition_penalty,}
        )
        tool_calls = response.choices[0].message.tool_calls or []
        content = response.choices[0].message.content or ""
        tool_calls_dict = [tc.to_dict() for tc in tool_calls] if tool_calls else tool_calls
        messages.append({"role": "assistant", "tool_calls": tool_calls_dict, "content": content,})
        for tool_call in tool_calls:
            fx, args, _id = tool_call.function.name, tool_call.function.arguments, tool_call.id
            out = MAP_FN[fx](**json.loads(args))
            messages.append({"role": "tool", "tool_call_id": _id, "name": fx, "content": str(out),})
        else:
            has_tool_calls = False
    return messages

GLM-5.1 を次で起動した後： llama-server 次のように GLM-5.1 または次を参照： Tool Calling Guide 詳細については、その後いくつかのツール呼び出しを行えます。

📊 ベンチマーク

GLM-5.1 のベンチマークは、下の表形式でご覧いただけます：

ベンチマーク	GLM-5.1	GLM-5	Qwen3.6-Plus	Minimax M2.7	DeepSeek-V3.2	Kimi K2.5	Claude Opus 4.6	Gemini 3.1 Pro	GPT-5.4
HLE	31.0	30.5	28.8	28.0	25.1	31.5	36.7	45.0	39.8
HLE（ツール付き）	52.3	50.4	50.6	-	40.8	51.8	53.1*	51.4*	52.1*
AIME 2026	95.3	95.4	95.1	89.8	95.1	94.5	95.6	98.2	98.7
HMMT 2025年11月	94.0	96.9	94.6	81.0	90.2	91.1	96.3	94.8	95.8
HMMT 2026年2月	82.6	82.8	87.8	72.7	79.9	81.3	84.3	87.3	91.8
IMOAnswerBench	83.8	82.5	83.8	66.3	78.3	81.8	75.3	81.0	91.4
GPQA-Diamond	86.2	86.0	90.4	87.0	82.4	87.6	91.3	94.3	92.0
SWE-Bench Pro	58.4	55.1	56.6	56.2	-	53.8	57.3	54.2	57.7
NL2Repo	42.7	35.9	37.9	39.8	-	32.0	49.8	33.4	41.3
Terminal-Bench 2.0 (Terminus-2)	63.5	56.2	61.6	-	39.3	50.8	65.4	68.5	-
Terminal-Bench 2.0（自己報告ベスト）	66.5 (Claude Code)	56.2 (Claude Code)	-	57.0 (Claude Code)	46.4 (Claude Code)	-	-	-	75.1 (Codex)
CyberGym	68.7	48.3	-	-	17.3	41.3	66.6	-	-
BrowseComp	68.0	62.0	-	-	51.4	60.6	-	-	-
BrowseComp（Context Manage あり）	79.3	75.9	-	-	67.6	74.9	84.0	85.9	82.7
τ³-Bench	70.6	69.2	70.7	67.6	69.2	66.0	72.4	67.1	72.9
Tool-Decathlon	71.8	69.2	74.1	48.8	62.2	63.8	73.8	69.2	67.2
Tool-Decathlon	40.7	38.0	39.8	46.3	35.2	27.8	47.2	48.8	54.6
Vending Bench 2	$5,634.00	$4,432.12	$5,114.87	-	$1,034.00	$1,198.46	$8,017.59	$911.21	$6,144.18