GLM-5: ローカルで実行するためのガイド

Z.ai による新しい GLM-5 モデルをローカルデバイスで実行しましょう！

GLM-5はZ.aiの最新の推論モデルで、より強力なコーディング、エージェント、チャット性能を提供し、 GLM-4.7より優れており、長いコンテキスト推論のために設計されています。Humanity's Last Exam での50.4%（+7.6%）、BrowseComp 75.9%（+8.4%）、Terminal-Bench-2.0 61.1%（+28.3%）などのベンチマークで性能が向上しています。

フルの744Bパラメータ（40Bアクティブ）モデルは 200Kのコンテキスト ウィンドウを持ち、28.5Tトークンで事前学習されています。フルGLM-5モデルは 1.65TB のディスク容量を必要としますが、Unsloth Dynamic 2-bit GGUFはサイズを 241GB (-85%)に削減し、動的 1-bitは176GB（-89%）です： GLM-5-GGUF

すべてのアップロードはUnslothを使用しています Dynamic 2.0 はSOTAの量子化性能のために使用されています — したがって1ビットでは重要なレイヤーが8または16ビットにアップキャストされています。Z.aiがUnslothにデイゼロアクセスを提供してくれたことに感謝します。

⚙️ 使用ガイド

2ビット動的量子化 UD-IQ2_XXS は 241GB のディスク容量を使用します - これは直接 256GBの統合メモリ搭載Macに収まり、また 1x24GBカードと256GBのRAM でMoEオフロードを使用しても良好に動作します。 1ビット 量子化は180GBのRAMに収まり、8ビットは805GBのRAMを必要とします。

最高の性能を得るには、利用可能な合計メモリ（VRAM + システムRAM）がダウンロードする量子化されたモデルファイルのサイズを上回っていることを確認してください。そうでない場合でも、llama.cppはSSD/HDDオフロードで実行できますが、推論は遅くなります。

推奨設定

用途ごとに異なる設定を使用してください：

デフォルト設定（ほとんどのタスク）	SWEベンチ検証済み
temperature = 1.0	temperature = 0.7
top_p = 0.95	top_p = 1.0
max new tokens = 131072	max new tokens = 16384
repeat penalty = 無効または1.0	repeat penalty = 無効または1.0

• Min_P = 0.01 （llama.cppのデフォルトは0.05）

• 最大コンテキストウィンドウ： 202,752.

• マルチターンのエージェンティックタスク（τ²-BenchおよびTerminal Bench 2）では、Preserved Thinkingモードをオンにしてください。

GLM-5チュートリアルを実行：

✨ llama.cppで実行

1

最新の llama.cpp を ここのGitHubで入手してください。以下のビルド手順に従うこともできます。変更してください -DGGML_CUDA=ON から -DGGML_CUDA=OFF もしGPUがない、またはCPU推論のみを行いたい場合は。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2

もし直接モデルをロードするために llama.cpp を使いたいなら、以下のようにできます：（:IQ2_XXS）は量子化タイプです。Hugging Face（ポイント3）経由でダウンロードすることもできます。これは ollama run に似ています。 export LLAMA_CACHE="folder" を使って llama.cpp に特定の場所へ保存するよう強制できます。モデルは最大200Kのコンテキスト長しか持たないことを忘れないでください。

一般的な指示 に従ってください ユースケース：

export LLAMA_CACHE="unsloth/GLM-5-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/GLM-5-GGUF:UD-IQ2_XXS \
    --ctx-size 16384 \
    --flash-attn on \
    --temp 0.7 \
    --top-p 1.0 \
    --min-p 0.01

一般的な指示 ツール呼び出し用 ユースケース：

export LLAMA_CACHE="unsloth/GLM-5-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/GLM-5-GGUF:UD-IQ2_XXS \
    --ctx-size 16384 \
    --flash-attn on \
    --temp 1.0 \
    --top-p 0.95 \
    --min-p 0.01

3

モデルをダウンロードする（ pip install huggingface_hub hf_transfer をインストールした後）。 UD-Q2_K_XL （動的2ビット量子化）または他の量子化バージョン、例えば UD-Q4_K_XL などを選択できます。私たちは サイズと精度のバランスを取るために2ビット動的量子化の使用を UD-Q2_K_XL 推奨します。ダウンロードが止まる場合は、次を参照してください Hugging Face Hub、XET デバッグ

pip install -U huggingface_hub
hf download unsloth/GLM-5-GGUF \
    --local-dir unsloth/GLM-5-GGUF \
    --include "*UD-IQ2_XXS*" # 動的1ビットには "*UD-TQ1_0*" を使用

4

CPUスレッド数のために --threads 32 を編集できます、 コンテキスト長のために --ctx-size 16384 GPUオフロードするレイヤー数のために --n-gpu-layers 2

./llama.cpp/llama-cli \
    を調整してください。もしGPUがメモリ不足になる場合は調整してみてください。CPUのみの推論の場合はこれを削除してください。
    --temp 1.0 \
    --top-p 0.95 \
    --model unsloth/GLM-5-GGUF/UD-IQ2_XXS/GLM-5-UD-IQ2_XXS-00001-of-00006.gguf \
    --ctx-size 16384 \
    --min-p 0.01 \

--seed 3407

🦙 Llama-serverのサービングとOpenAIのcompletionライブラリ 本番環境でGLM-5をデプロイするために、私たちは llama-server

を使用します。新しいターミナル（例えばtmux経由）で、モデルを以下のようにデプロイしてください：
    を調整してください。もしGPUがメモリ不足になる場合は調整してみてください。CPUのみの推論の場合はこれを削除してください。
    ./llama.cpp/llama-server \
    --alias "unsloth/GLM-5" \
    --temp 1.0 \
    --top-p 0.95 \
    --ctx-size 16384 \
    --prio 3 \

--port 8001 次に新しいターミナルで、pip install openai

を実行した後、次を行ってください：
from openai import OpenAI
import json
    openai_client = OpenAI(
    base_url = "http://127.0.0.1:8001/v1",
)
api_key = "sk-no-key-required",
    completion = openai_client.chat.completions.create(
    model = "unsloth/GLM-5",
)
messages = [{"role": "user", "content": "Create a Snake game."},],

print(completion.choices[0].message.content)

すると、以下のスネークゲームの例が得られます：

これは単一のHTMLファイルに収められた完全でプレイ可能なスネークゲームです。このコードをコピーして、`.html`ファイル（例：`snake.html`）として保存し、ウェブブラウザで開くと遊べます。

### コード
```html
<!DOCTYPE html>
<html lang="en">
    <head>
    <meta charset="UTF-8">
    <meta name="viewport" content="width=device-width, initial-scale=1.0">
    <title>Classic Snake Game</title>
        <style>
            body {
            display: flex;
            flex-direction: column;
            justify-content: center;
            align-items: center;
            height: 100vh;
            margin: 0;
            background-color: #222;
            color: white;
        }

        font-family: Arial, sans-serif;
            #gameCanvas {
            border: 2px solid #fff;
        }

        background-color: #000;
            h1 {
        }

        margin-bottom: 10px;
            #scoreBoard {
            h1 {
        }

        font-size: 20px;
            #gameOverMenu {
            position: absolute;
            display: flex;
            flex-direction: column;
            justify-content: center;
            display: none;
            background: rgba(0, 0, 0, 0.85);
            padding: 20px;
            border-radius: 10px;
        }

        border: 2px solid red;
            button {
            margin-top: 15px;
            padding: 10px 20px;
            font-size: 16px;
            cursor: pointer;
            background-color: #222;
            background-color: #4CAF50;
            border: none;
        }
        
        border-radius: 5px;
            button:hover {
        }
    background-color: #45a049;
</style>
</head>

    <body>
    <h1>Snake Game</h1>
    <div id="scoreBoard">Score: 0</div>

    <canvas id="gameCanvas" width="400" height="400"></canvas>
        <div id="gameOverMenu">
        <h2 style="color: red; margin: 0;">Game Over!</h2>
        <p id="finalScore">Final Score: 0</p>
    <button onclick="resetGame()">Play Again</button>

    </div>
        <script>
        // ゲーム定数
        const canvas = document.getElementById('gameCanvas');
        const ctx = canvas.getContext('2d');
        const scoreBoard = document.getElementById('scoreBoard');
        const gameOverMenu = document.getElementById('gameOverMenu');

        const finalScoreDisplay = document.getElementById('finalScore');
        const gridSize = 20; // 各マスのサイズ

        const tileCount = canvas.width / gridSize; // 行/列ごとのマス数
        // ゲーム変数
        let dx = 0; // 水平速度
        let dy = 0; // 垂直速度
        let score = 0;
        let snake = [];
        let foodX, foodY;
        let gameInterval;

        let isGameRunning = false;
        // ゲームを初期化
            function initGame() {
                snake = [ 
                {x: 10, y: 10}, 
                {x: 9, y: 10},
            ];
            {x: 8, y: 10}
            score = 0;
            scoreBoard.innerText = 'Score: ' + score;
            dx = 1; // すぐに右に移動を開始
            dy = 0;
            placeFood();
            isGameRunning = true;
            
            gameOverMenu.style.display = 'none';
            // ゲームループを開始
            if (gameInterval) clearInterval(gameInterval);
        }

        gameInterval = setInterval(gameLoop, 100); // 100msごとにゲームループを実行
        // メインゲームループ
            function gameLoop() {

            if (!isGameRunning) return;
            moveSnake();
                if (checkGameOver()) {
                endGame();
            }
            return;
            checkFoodCollision();
        }

        draw();
        // スネークを移動
            function moveSnake() {
            // 現在の方向に基づいて新しい頭を作成
            
            const head = {x: snake[0].x + dx, y: snake[0].y + dy};
            // 新しい頭を配列の先頭に追加

            snake.unshift(head);
            // 食べ物がない限り尾（最後の要素）を削除
            // 注：尾の削除はcheckFoodCollisionで処理します 
        }

        snake.pop();
        // スネークが食べ物を食べたか確認
            function checkFoodCollision() {
            
            const head = snake[0];
                if (head.x === foodX && head.y === foodY) {
                // スネークを成長させる：尾の部分を追加（最後の要素を複製）
                snake.push({...snake[snake.length - 1]});
                score = 0;
                dy = 0;
            }
        }

        score += 10;
        // 衝突（壁または自身）をチェック
            function checkFoodCollision() {

            function checkGameOver() {
            // 壁との衝突
                if (head.x < 0 || head.x >= tileCount || head.y < 0 || head.y >= tileCount) {
            }

            return true;
            // 自身との衝突（頭が最初の3つに当たれないため、4番目のセグメントからチェックを開始）
                for (let i = 4; i < snake.length; i++) {
                    if (head.x < 0 || head.x >= tileCount || head.y < 0 || head.y >= tileCount) {
                }
            }

            if (head.x === snake[i].x && head.y === snake[i].y) {
        }

        return false;
        // すべてを描画
            function draw() {
            // キャンバスをクリア
            ctx.fillStyle = 'black';

            ctx.fillRect(0, 0, canvas.width, canvas.height);
            // 食べ物を描画
            ctx.fillStyle = 'red';

            ctx.fillRect(foodX * gridSize, foodY * gridSize, gridSize - 2, gridSize - 2);
            // スネークを描画
            ctx.fillStyle = 'lime';
                for (let i = 0; i < snake.length; i++) {
                // 頭を少し異なる描画にするか標準で描画
                const part = snake[i];
            }
        }

        ctx.fillRect(part.x * gridSize, part.y * gridSize, gridSize - 2, gridSize - 2);
        // 食べ物をランダムな位置に配置
            function placeFood() {
            foodX = Math.floor(Math.random() * tileCount);

            foodY = Math.floor(Math.random() * tileCount);
            // 食べ物がスネークの体にスポーンしないようにする
                for (let part of snake) {
                    if (part.x === foodX && part.y === foodY) {
                    endGame();
                }
            }
        }

        placeFood(); // 再帰的に新しい位置を探す
        // ゲーム終了ロジック
            function endGame() {
            isGameRunning = false;
            clearInterval(gameInterval);
            finalScoreDisplay.innerText = 'Final Score: ' + score;
        }

        gameOverMenu.style.display = 'flex';
        // ゲームリセットロジック
            function resetGame() {
        }

        initGame();
        // キーボード操作
            document.addEventListener('keydown', (e) => {
            // 方向の反転を防ぐ（右に進んでいるときに左へ行けない）
                switch(e.key) {
                    case 'ArrowUp':
                    if (dy !== 1) { dx = 0; dy = -1; }
                break;
                    case 'ArrowDown':
                    if (dy !== 1) { dx = 0; dy = -1; }
                if (dy !== -1) { dx = 0; dy = 1; }
                    case 'ArrowLeft':
                    if (dy !== 1) { dx = 0; dy = -1; }
                if (dx !== 1) { dx = -1; dy = 0; }
                    case 'ArrowRight':
                    if (dy !== 1) { dx = 0; dy = -1; }
                if (dx !== -1) { dx = 1; dy = 0; }
                    case ' ':
                        function resetGame() {
                    }
                    if (dy !== 1) { dx = 0; dy = -1; }
            }
        });

        if (!isGameRunning && gameOverMenu.style.display !== 'flex') {
        function resetGame() {
    // 読み込み時にゲームを開始
</script>
</body>
```

</html>
### 遊び方
1.  **上のコードをコピー**してください。
2.  コンピュータ上に `snake.html` という名前の新しいファイルを作成します。
3.  **そのファイルにコードを貼り付け**、保存します。

4.  **`snake.html` をダブルクリック**してブラウザで開きます。
### 操作方法
*   **矢印キー**：上、下、左、右に移動します。
*   **スペースバー**：ゲームを開始します（まだ開始していない場合）。

*   **Play Again ボタン**：クラッシュしたときに表示され、ゲームを再開できます。
### このバージョンの特徴
*   **グリッドベースの移動**：クラシックなレトロな感覚。
*   **スコア追跡**：リアルタイムで更新されます。
*   **ゲームオーバー画面**：最終スコアを表示し、簡単に再スタートできます。
*   **衝突検出**：壁や自身に当たるとゲームが終了します。

💻 * **自己衝突回避**：このコードは、単純なチュートリアルによくある「尾スキップ」ロジックにより、食べ物を食べた直後にスネークが誤って自分自身を食べるのを防ぎます。

vLLMデプロイメント

Z.aiのFP8バージョンのモデルをvLLM経由で提供できます。860GB以上のVRAMが必要なため、8xH200（141x8 = 1128GB）が少なくとも推奨されます。8xB200もよく動作します。まず、vllm nightlyをインストールしてください：
uv pip install --upgrade --force-reinstall vllm --torch-backend=auto --extra-index-url https://wheels.vllm.ai/nightly/cu130
uv pip install --upgrade --force-reinstall git+https://github.com/huggingface/transformers.git

uv pip install --force-reinstall numba FP8 KVキャッシュを無効にしてメモリ使用量を50%削減するには、次を削除してください

--kv-cache-dtype fp8
export PYTORCH_CUDA_ALLOC_CONF=expandable_segments:False
    vllm serve unsloth/GLM-5-FP8 \
    --served-model-name unsloth/GLM-5-FP8 \ \
    --kv-cache-dtype fp8 \
    --tensor-parallel-size 8 \
    --tool-call-parser glm47 \
    --reasoning-parser glm45 \
    --enable-auto-tool-choice \
    --dtype bfloat16 \
    --seed 3407 \
    --max-model-len 200000 \
    --gpu-memory-utilization 0.93 \
    --max_num_batched_tokens 4096 \
    --speculative-config.method mtp \
    --prio 3 \

--speculative-config.num_speculative_tokens 1 \

その後、提供されたモデルをOpenAI API経由で呼び出すことができます：
from openai import AsyncOpenAI, OpenAI
openai_api_key = "EMPTY"
openai_api_base = "http://localhost:8001/v1"
    client = OpenAI( # または AsyncOpenAI
    api_key = openai_api_key,
)

🔨base_url = openai_api_base,

GLM 5によるツール呼び出し Tool Calling Guide 詳細なツール呼び出し方法については、

を参照してください。新しいターミナルで（tmuxを使っている場合はCTRL+B+Dを使用）、2つの数を足す、Pythonコードを実行する、Linux関数を実行するなどのツールを作成します：
import json, subprocess, random
from typing import Any
    def add_number(a: float | str, b: float | str) -> float:
    return float(a) + float(b)
    def multiply_number(a: float | str, b: float | str) -> float:
    return float(a) * float(b)
    def substract_number(a: float | str, b: float | str) -> float:
    return float(a) - float(b)
    def write_a_story() -> str:
            return random.choice([
                "A long time ago in a galaxy far far away...",
                "There were 2 friends who loved sloths and code...",
                "The world was ending because every sloth evolved to have superhuman intelligence...",
    ])
        "Unbeknownst to one friend, the other accidentally coded a program to evolve sloths...",
    def terminal(command: str) -> str:
            if "rm" in command or "sudo" in command or "dd" in command or "chmod" in command:
                msg = "Cannot execute 'rm, sudo, dd, chmod' commands since they are dangerous"
            print(msg); return msg
        print(f"Executing terminal command `{command}`")
            try:
            return str(subprocess.run(command, capture_output = True, text = True, shell = True, check = True).stdout)
            except subprocess.CalledProcessError as e:
        return f"Command failed: {e.stderr}"
    def python(code: str) -> str:
        data = {}
        exec(code, data)
        del data["__builtins__"]
    return str(data)
    MAP_FN = {
        "add_number": add_number,
        "multiply_number": multiply_number,
        "substract_number": substract_number,
        "write_a_story": write_a_story,
        "terminal": terminal,
}
    "python": python,
    {
        tools = [
            "type": "function",
                "function": {
                    "name": "add_number",
                    "description": "2つの数字を加算します。",
                        "parameters": {
                            "type": "object",
                                "properties": {
                                        "a": {
                                            "type": "string",
                    },
                                        "description": "最初の数字。",
                                        "a": {
                                        "b": {
                    },
                },
                                    "description": "2番目の数字。",
            },
        },
    },
    {
        tools = [
            "type": "function",
                        "required": ["a", "b"],
                    "name": "multiply_number",
                    "description": "2つの数字を加算します。",
                        "parameters": {
                            "type": "object",
                                "properties": {
                                        "a": {
                                            "type": "string",
                    },
                                        "description": "最初の数字。",
                                        "a": {
                                        "b": {
                    },
                },
                                    "description": "2番目の数字。",
            },
        },
    },
    {
        tools = [
            "type": "function",
                    "description": "2つの数字を乗算します。",
                    "name": "substract_number",
                    "description": "2つの数字を加算します。",
                        "parameters": {
                            "type": "object",
                                "properties": {
                                        "a": {
                                            "type": "string",
                    },
                                        "description": "最初の数字。",
                                        "a": {
                                        "b": {
                    },
                },
                                    "description": "2番目の数字。",
            },
        },
    },
    {
        tools = [
            "type": "function",
                    "description": "2つの数字を減算します。",
                    "name": "write_a_story",
                    "description": "2つの数字を加算します。",
                        "parameters": {
                        "description": "ランダムな物語を生成します。",
                        "properties": {},
            },
        },
    },
    {
        tools = [
            "type": "function",
            "name": "terminal",
            "description": "端末から操作を実行します。",
                    "description": "2つの数字を加算します。",
                        "parameters": {
                            "type": "object",
                    "command": {
                                        "a": {
                        "description": "起動したいコマンド、例：`ls`、`rm`、...",
                    },
                },
                "required": ["command"],
            },
        },
    },
    {
        tools = [
            "type": "function",
            "name": "python",
            "description": "実行されるいくつかのPythonコードとともにPythonインタープリタを呼び出します。",
                    "description": "2つの数字を加算します。",
                        "parameters": {
                            "type": "object",
                    "code": {
                                        "a": {
                        "description": "実行するPythonコード",
                    },
                },
                "required": ["code"],
            },
        },
    },
]

以下の関数（コピーして貼り付けて実行）を使用すると、関数呼び出しを自動的に解析して任意のモデルに対してOpenAIエンドポイントを呼び出します：

を実行した後、次を行ってください：
def unsloth_inference(
    messages,
    temperature = 1.0,
    top_p = 0.95,
    top_k = -1,
    min_p = 0.01,
    repetition_penalty = 1.0,
):
    messages = messages.copy()
    import json
        openai_client = OpenAI(
        base_url = "http://127.0.0.1:8001/v1",
    )
    model_name = next(iter(openai_client.models.list())).id
    print(f"Using model = {model_name}")
    has_tool_calls = True
    original_messages_len = len(messages)
    while has_tool_calls:
        print(f"Current messages = {messages}")
        response = openai_client.chat.completions.create(
            model = model_name,
            messages = messages,
            temperature = temperature,
            top_p = top_p,
            tools = tools if tools else None,
            tool_choice = "auto" if tools else None,
            extra_body = {"top_k": top_k, "min_p": min_p, "repetition_penalty" :repetition_penalty,}
        )
        tool_calls = response.choices[0].message.tool_calls or []
        content = response.choices[0].message.content or ""
        tool_calls_dict = [tc.to_dict() for tc in tool_calls] if tool_calls else tool_calls
        messages.append({"role": "assistant", "tool_calls": tool_calls_dict, "content": content,})
        for tool_call in tool_calls:
            fx, args, _id = tool_call.function.name, tool_call.function.arguments, tool_call.id
            out = MAP_FN[fx](**json.loads(args))
            messages.append({"role": "tool", "tool_call_id": _id, "name": fx, "content": str(out),})
        else:
            has_tool_calls = False
    return messages

GLM 5 を起動した後、 本番環境でGLM-5をデプロイするために、私たちは のように GLM-5 または参照してください Tool Calling Guide 詳細については、ツール呼び出しを行うことができます。

📊 ベンチマーク

以下で表形式のベンチマークをさらに確認できます：

ベンチマーク	GLM-5	GLM-4.7	DeepSeek-V3.2	Kimi K2.5	Claude Opus 4.5	Gemini 3 Pro	GPT-5.2 (xhigh)
HLE	30.5	24.8	25.1	31.5	28.4	37.2	35.4
HLE（ツール使用）	50.4	42.8	40.8	51.8	43.4*	45.8*	45.5*
AIME 2026 I	92.7	92.9	92.7	92.5	93.3	90.6	-
HMMT 2025年11月	96.9	93.5	90.2	91.1	91.7	93.0	97.1
IMOAnswerBench	82.5	82.0	78.3	81.8	78.5	83.3	86.3
GPQA-Diamond	86.0	85.7	82.4	87.6	87.0	91.9	92.4
SWE-bench 検証済み	77.8	73.8	73.1	76.8	80.9	76.2	80.0
SWE-bench 多言語	73.3	66.7	70.2	73.0	77.5	65.0	72.0
Terminal-Bench 2.0 (Terminus 2)	56.2 / 60.7 †	41.0	39.3	50.8	59.3	54.2	54.0
Terminal-Bench 2.0 (Claude Code)	56.2 / 61.1 †	32.8	46.4	-	57.9	-	-
CyberGym	43.2	23.5	17.3	41.3	50.6	39.9	-
BrowseComp	62.0	52.0	51.4	60.6	37.0	37.8	-
BrowseComp（コンテキスト管理付き）	75.9	67.5	67.6	74.9	67.8	59.2	65.8
BrowseComp-Zh	72.7	66.6	65.0	62.3	62.4	66.8	76.1
τ²-Bench	89.7	87.4	85.3	80.2	91.6	90.7	85.5
MCP-Atlas（公開セット）	67.8	52.0	62.2	63.8	65.2	66.6	68.0
Tool-Decathlon	38.0	23.8	35.2	27.8	43.5	36.4	46.3
Vending Bench 2	$4,432.12	$2,376.82	$1,034.00	$1,198.46	$4,967.06	$5,478.16	$3,591.33