GLM-4.7：ローカル実行ガイド

Z.ai の GLM-4.7 モデルを自分のローカルデバイスで実行する方法のガイド！

GLM-4.7はZ.aiの最新の思考モデルで、より強力なコーディング、エージェント、およびチャット性能を提供し、 GLM-4.6より優れています。SWE-bench（73.8%、+5.8）、SWE-bench Multilingual（66.7%、+12.9）、および Terminal Bench 2.0（41.0%、+16.5）でSOTAの性能を達成しています。

フルの355Bパラメータモデルは 400GB のディスク容量を必要としますが、Unsloth Dynamic 2-bit GGUFはサイズを 134GB (-75%). GLM-4.7-GGUF

すべてのアップロードはUnslothを使用しています Dynamic 2.0 はSOTAの5-shot MMLUおよびAider性能を実現するため、量子化されたGLMのLLMをほとんど精度を落とさずに実行およびファインチューニングできます。

⚙️ 使用ガイド

2ビット動的量子化UD-Q2_K_XLは135GBのディスク容量を使用します — これは 1x24GBカードと128GBのRAM でMoEオフロードを行うと良好に動作します。1ビットのUD-TQ1 GGUFも Ollamaでネイティブに動作します!

必ず使用してください --jinja llama.cppの量子化には — これにより私たちの 固定チャットテンプレート が使用され、正しいテンプレートが有効になります！使用しないと誤った結果になる可能性があります --jinja

4ビット量子化は1x40GBのGPUに収まります（MoEレイヤーをRAMにオフロードした場合）。この構成でボーナスの165GB RAMがあると約5トークン/秒が期待できます。この4ビットを実行するには最低でも205GBのRAMが推奨されます。最適な性能を得るには、少なくとも205GBの統一メモリ、または合計で205GBのRAM＋VRAMが必要で、5トークン/秒以上が見込めます。生成速度を上げ、より長いコンテキストを扱う方法については、 こちらをお読みください.

必須ではありませんが、最良のパフォーマンスのために、VRAM＋RAMの合計がダウンロードする量子化モデルのサイズと等しいことを推奨します。そうでない場合でも、llama.cppではハードドライブ／SSDオフロードが機能しますが推論は遅くなります。また、 --fit on を llama.cpp で使用して最大のGPU使用を自動的に有効にしてください！

推奨設定

用途ごとに異なる設定を使用してください。デフォルトおよびマルチターンのエージェンティックなユースケースに対する推奨設定：

デフォルト設定（ほとんどのタスク）	Terminal Bench、SWE Bench 認証済み
temperature = 1.0	temperature = 0.7
top_p = 0.95	top_p = 1.0
131072 max new tokens	16384 max new tokens

• 使用してください --jinja llama.cppのバリアントには — 私たちは いくつかのチャットテンプレートの問題を修正しました！

• 最大コンテキストウィンドウ： 131,072

GLM-4.7チュートリアルを実行する：

GLM-4.7を実行するためのステップバイステップガイドは Ollama と llama.cpp.

✨ llama.cppで実行する

1

最新の llama.cpp を GitHubで入手してください。以下のビルド手順にも従うことができます。を変更してください -DGGML_CUDA=ON に -DGGML_CUDA=OFF GPUを持っていない場合やCPUで推論したい場合は Apple Mac / Metalデバイスの場合、次を設定してください -DGGML_CUDA=OFF その後通常通り続行してください — Metalサポートはデフォルトで有効です。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2

もし直接 llama.cpp を使ってモデルを読み込みたい場合は、以下のようにできます：（:Q2_K_XL）は量子化タイプです。Hugging Face（ポイント3）経由でダウンロードすることもできます。これは ollama run に類似しています。 使用してください export LLAMA_CACHE="folder" llama.cpp を強制して

を特定の場所に保存するようにしてください。モデルは最大で128Kのコンテキスト長しか持たないことを忘れないでください。
export LLAMA_CACHE="unsloth/GLM-4.7-GGUF"
    ./llama.cpp/llama-cli \
    -hf unsloth/GLM-4.7-GGUF:UD-Q2_K_XL \
    --jinja \
    --ctx-size 16384 \
    --flash-attn on \
    --temp 1.0 \
    --fit on

使用してください --fit on --top-p 0.95 \

はGPUとCPUを最大限に活用するために2025年12月15日に導入されました。 -ot ".ffn_.*_exps.=CPU" -ot ".ffn_.*_exps.=CPU"

もし少し多くのGPUメモリがあるなら、次を試してください -ot ".ffn_(up|down)_exps.=CPU" これは up と down の投影 MoE 層をオフロードします。

試してみてください -ot ".ffn_(up)_exps.=CPU" さらに多くのGPUメモリがある場合。これは up 投影の MoE 層のみをオフロードします。

もしさらに多くのGPUメモリがある場合。これはup投影のMoEレイヤーのみをオフロードします。 -ot ".ffn_.*_exps.=CPU" そして最後にすべてのレイヤーを次でオフロードします

正規表現をカスタマイズすることもできます。例えば -ot "\.(6|7|8|9|[0-9][0-9]|[0-9][0-9][0-9])\.ffn_(gate|up|down)_exps.=CPU" は gate、up、down の MoE 層をオフロードしますが、6層目以降に限定します。

3

モデルをダウンロードするには（をインストールした後） モデルをダウンロードするには（ を選択できます。 をインストールした後）を使用してください。選択できるのはUD- Q2_K_XL（動的2ビット量子化）や Q4_K_XL などの他の量子化版です。私たちは サイズと精度のバランスを取るために私たちの2.7ビット動的量子化を UD-Q2_K_XL.

使用することをお勧めします。
pip install -U huggingface_hub
    hf download unsloth/GLM-4.7-GGUF \
    --local-dir unsloth/GLM-4.7-GGUF \

4

--include "*UD-Q2_K_XL*" # 動的1ビットの場合は "*UD-TQ1_0*" を使用 次の --threads 32 はCPUスレッドの数、 --ctx-size 16384 はコンテキスト長、 --n-gpu-layers 2

export LLAMA_CACHE="unsloth/GLM-4.7-GGUF"
    はGPUオフロードするレイヤー数を指定します。GPUがメモリ不足になった場合は調整してみてください。CPUのみの推論の場合はこれを外してください。
    -hf unsloth/GLM-4.7-GGUF:UD-Q2_K_XL \
    --flash-attn on \
    --temp 1.0 \
    --jinja \
    --model unsloth/GLM-4.7-GGUF/UD-Q2_K_XL/GLM-4.7-UD-Q2_K_XL-00001-of-00003.gguf \
    --fit on

🦙 --seed 3407 \

1

Ollamaで実行する をインストールしてください ollama まだインストールしていない場合！モデルのより多くのバリアントを実行するには、.

apt-get update
こちらを参照してください
apt-get install pciutils -y

2

curl -fsSL https://ollama.com/install.sh | sh モデルを実行してください！失敗した場合は別のターミナルでollama serve を呼び出すことができます！私たちはすべての修正と推奨パラメータ（temperatureなど）を params

としてHugging Faceのアップロードに含めています！

OLLAMA_MODELS=unsloth ollama serve &

3

OLLAMA_MODELS=unsloth ollama run hf.co/unsloth/GLM-4.7-GGUF:TQ1_0

他の量子化を実行するには、まずGGUFの分割ファイルを以下のように1つにマージする必要があります。その後モデルをローカルで実行する必要があります。
  ./llama.cpp/llama-gguf-split --merge \
	GLM-4.7-GGUF/GLM-4.7-UD-Q2_K_XL/GLM-4.7-UD-Q2_K_XL-00001-of-00003.gguf \

としてHugging Faceのアップロードに含めています！

merged_file.gguf

OLLAMA_MODELS=unsloth ollama run merged_file.gguf

✨ llama-serverとOpenAIのcompletionライブラリでデプロイする

./llama.cpp/llama-server \
    はGPUオフロードするレイヤー数を指定します。GPUがメモリ不足になった場合は調整してみてください。CPUのみの推論の場合はこれを外してください。
    ./llama.cpp/llama-server \
    --alias "unsloth/GLM-4.7" \
    --fit on \
    --flash-attn on \
    --temp 1.0 \
    --jinja \
    --port 8001 \
    --jinja

--port 8001 \ その後、OpenAIのPythonライブラリを使用します（ :

from openai import OpenAI
）
from openai import OpenAI
    import json
    openai_client = OpenAI(
)
base_url = "http://127.0.0.1:8001/v1",
    api_key = "sk-no-key-required",
    completion = openai_client.chat.completions.create(
)
print(completion.choices[0].message.content)

🔨messages = [{"role": "user", "content": "What is 2+2?"},],

print(completion.choices[0].message.content) Tool Calling Guide GLM 4.7でのツール呼び出し

詳細については
を参照してください。ツール呼び出しの方法についての詳細です。新しいターミナルで（tmuxを使っている場合はCTRL+B+Dを使用）、2つの数を加える、Pythonコードを実行する、Linuxコマンドを実行するなどのツールを作成します：
import json, subprocess, random
    from typing import Any
def add_number(a: float | str, b: float | str) -> float:
    return float(a) + float(b)
def multiply_number(a: float | str, b: float | str) -> float:
    return float(a) * float(b)
def substract_number(a: float | str, b: float | str) -> float:
    return float(a) - float(b)
        def write_a_story() -> str:
        return random.choice([
        "A long time ago in a galaxy far far away...",
        "There were 2 friends who loved sloths and code...",
    ])
"The world was ending because every sloth evolved to have superhuman intelligence...",
    "Unbeknownst to one friend, the other accidentally coded a program to evolve sloths...",
        def terminal(command: str) -> str:
        if "rm" in command or "sudo" in command or "dd" in command or "chmod" in command:
    msg = "Cannot execute 'rm, sudo, dd, chmod' commands since they are dangerous"
    print(msg); return msg
        print(f"Executing terminal command `{command}`")
    try:
        return str(subprocess.run(command, capture_output = True, text = True, shell = True, check = True).stdout)
except subprocess.CalledProcessError as e:
    return f"Command failed: {e.stderr}"
    def python(code: str) -> str:
    data = {}
    exec(code, data)
del data["__builtins__"]
    return str(data)
    MAP_FN = {
    "add_number": add_number,
    "multiply_number": multiply_number,
    "substract_number": substract_number,
    "write_a_story": write_a_story,
}
"terminal": terminal,
    {
        "python": python,
        tools = [
            "type": "function",
            "function": {
            "name": "add_number",
                "description": "Add two numbers.",
                "parameters": {
                    "type": "object",
                        "properties": {
                        "a": {
                    },
                    "type": "string",
                        "properties": {
                        "description": "The first number.",
                    },
                },
                "b": {
            },
        },
    },
    {
        "python": python,
        tools = [
            "description": "The second number.",
            "required": ["a", "b"],
            "name": "add_number",
                "description": "Add two numbers.",
                "parameters": {
                    "type": "object",
                        "properties": {
                        "a": {
                    },
                    "type": "string",
                        "properties": {
                        "description": "The first number.",
                    },
                },
                "b": {
            },
        },
    },
    {
        "python": python,
        tools = [
            "name": "multiply_number",
            "description": "Multiply two numbers.",
            "name": "add_number",
                "description": "Add two numbers.",
                "parameters": {
                    "type": "object",
                        "properties": {
                        "a": {
                    },
                    "type": "string",
                        "properties": {
                        "description": "The first number.",
                    },
                },
                "b": {
            },
        },
    },
    {
        "python": python,
        tools = [
            "name": "substract_number",
            "description": "Substract two numbers.",
            "name": "add_number",
                "description": "Add two numbers.",
                "name": "write_a_story",
                "description": "Writes a random story.",
            },
        },
    },
    {
        "python": python,
        tools = [
            "properties": {},
            "required": [],
            "name": "add_number",
                "description": "Add two numbers.",
                "parameters": {
                    "name": "terminal",
                        "properties": {
                        "description": "Perform operations from the terminal.",
                    },
                },
                "command": {
            },
        },
    },
    {
        "python": python,
        tools = [
            "description": "The command you wish to launch, e.g `ls`, `rm`, ...",
            "required": ["command"],
            "name": "add_number",
                "description": "Add two numbers.",
                "parameters": {
                    "name": "python",
                        "properties": {
                        "description": "Call a Python interpreter with some Python code that will be ran.",
                    },
                },
                "code": {
            },
        },
    },
]

"description": "The Python code to run",

from openai import OpenAI
"required": ["code"],
    次に以下の関数を使用します（コピーして貼り付けて実行してください）。これらは関数呼び出しを自動的に解析し、任意のモデルに対してOpenAIエンドポイントを呼び出します：
    def unsloth_inference(
    messages,
    temperature = 0.7,
    top_p = 0.95,
    top_k = 40,
):
    min_p = 0.01,
    from openai import OpenAI
        import json
        openai_client = OpenAI(
    )
    repetition_penalty = 1.0,
    messages = messages.copy()
    model_name = next(iter(openai_client.models.list())).id
    print(f"Using model = {model_name}")
    has_tool_calls = True
        original_messages_len = len(messages)
        while has_tool_calls:
            print(f"Current messages = {messages}")
            response = openai_client.chat.completions.create(
            model = model_name,
            messages = messages,
            temperature = temperature,
            top_p = top_p,
            tools = tools if tools else None,
        )
        tool_choice = "auto" if tools else None,
        extra_body = {"top_k": top_k, "min_p": min_p, "repetition_penalty" :repetition_penalty,}
        tool_calls = response.choices[0].message.tool_calls or []
        content = response.choices[0].message.content or ""
        tool_calls_dict = [tc.to_dict() for tc in tool_calls] if tool_calls else tool_calls
            messages.append({"role": "assistant", "tool_calls": tool_calls_dict, "content": content,})
            for tool_call in tool_calls:
            fx, args, _id = tool_call.function.name, tool_call.function.arguments, tool_call.id
        out = MAP_FN[fx](**json.loads(args))
            messages.append({"role": "tool", "tool_call_id": _id, "name": fx, "content": str(out),})
    else:

has_tool_calls = False return messages GLM 4.7を GLM-4.7 llama-server Tool Calling Guide のように起動した後（

や詳しい情報については

を参照）、いくつかのツール呼び出しを行うことができます：
    "role": "user",
    messages = [{
}]
"role": "user",

"content": [{"type": "text", "text": "What is today's date plus 3 days?"}],

を参照）、いくつかのツール呼び出しを行うことができます：
    "role": "user",
    unsloth_inference(messages, temperature = 0.7, top_p = 1.0, top_k = -1, min_p = 0.00)
}]
"role": "user",

🏂 GLM 4.7で生成されたPythonコードを実行するためのツール呼び出し

使用してください --fit on "content": [{"type": "text", "text": "Create a Fibonacci function in Python and find fib(20)."}], 生成速度の改善 --fit on はGPUとCPUを最大限に活用するために2025年12月15日に導入されました。参照：

より多くのVRAMがある場合、より多くのMoE層をオフロードするか、層全体をオフロードすることを試せます。

通常は、 -ot ".ffn_.*_exps.=CPU" はすべてのMoE層をCPUにオフロードします！これにより、非MoE層を1つのGPUに収めることができ、生成速度が向上します。GPU容量が多い場合は、より多くの層に合わせて正規表現をカスタマイズできます。

もし少し多くのGPUメモリがあるなら、次を試してください -ot ".ffn_(up|down)_exps.=CPU" これは up と down の投影 MoE 層をオフロードします。

試してみてください -ot ".ffn_(up)_exps.=CPU" さらに多くのGPUメモリがある場合。これは up 投影の MoE 層のみをオフロードします。

正規表現をカスタマイズすることもできます。例えば -ot "\.(6|7|8|9|[0-9][0-9]|[0-9][0-9][0-9])\.ffn_(gate|up|down)_exps.=CPU" は gate、up、down の MoE 層をオフロードしますが、6層目以降に限定します。

通常、 llama-parallel。詳細は こちら。また、 KVキャッシュを4ビットに量子化することができます こちら

をご覧ください。さらに、

より長いコンテキストに対応するには、 KVキャッシュの量子化 を使用してKおよびVキャッシュをより低ビットに量子化できます。これによりRAM / VRAMのデータ移動が減少し、生成速度が向上することもあります。Kの量子化で許容されるオプション（デフォルトは f16)には以下が含まれます。

--cache-type-k f32, f16, bf16, q8_0, q4_0, q4_1, iq4_nl, q5_0, q5_1

多少精度が向上するので、 _1 バリアントを使用するべきですが、やや遅くなります。例えば q4_1, q5_1

Vキャッシュも量子化できますが、 Flash Attentionを使ってllama.cppをコンパイルする必要があります サポートを有効にするには -DGGML_CUDA_FA_ALL_QUANTS=ON、そして --flash-attn コンパイルする必要があります 次のように :

-DGGML_CUDA_FA_ALL_QUANTS=ONを指定し、そして使用してください、