GLM-4.7: Anleitung zur lokalen Ausführung

Eine Anleitung, wie man das Z.ai GLM-4.7-Modell auf dem eigenen lokalen Gerät ausführt!

GLM-4.7 ist Z.ais neuestes Thinking-Modell und bietet stärkere Coding-, Agenten- und Chat-Leistung als GLM-4.6. Es erreicht SOTA-Leistungen im SWE-bench (73,8 %, +5,8), SWE-bench Multilingual (66,7 %, +12,9) und Terminal Bench 2.0 (41,0 %, +16,5).

Das vollständige Modell mit 355B Parametern benötigt 400GB Festplattenspeicher, während das Unsloth Dynamic 2-bit GGUF die Größe reduziert auf 134GB (-75%). GLM-4.7-GGUF

Alle Uploads verwenden Unsloth Dynamic 2.0 für SOTA 5-shot MMLU- und Aider-Leistung, was bedeutet, dass Sie quantisierte GLM-LLMs mit minimalem Genauigkeitsverlust ausführen und feinabstimmen können.

⚙️ Gebrauchsanleitung

Das 2-Bit Dynamic Quant UD-Q2_K_XL benötigt 135GB Festplattenspeicher – das funktioniert gut in einer 1x24GB-Karte und 128GB RAM mit MoE-Offloading. Das 1-Bit UD-TQ1 GGUF funktioniert auch nativ in Ollama!

Sie müssen --jinja für llama.cpp-Quants verwenden – dies nutzt unsere festen Chat-Vorlagen und aktiviert die richtige Vorlage! Sie könnten falsche Ergebnisse erhalten, wenn Sie nicht --jinja

Die 4-Bit-Quants passen auf eine 1x40GB-GPU (mit MoE-Schichten ausgelagert in den RAM). Rechnen Sie bei dieser Konfiguration mit etwa 5 Token/s, wenn Sie zusätzlich 165GB RAM haben. Es wird empfohlen, mindestens 205GB RAM zu haben, um dieses 4-Bit-Modell zu betreiben. Für optimale Leistung benötigen Sie mindestens 205GB Unified Memory oder 205GB kombinierter RAM+VRAM für 5+ Token/s. Um zu erfahren, wie man die Generationsgeschwindigkeit erhöht und längere Kontexte unterbringt, hier lesen.

Obwohl es nicht zwingend erforderlich ist: Für beste Leistung sollten VRAM + RAM zusammen der Größe des heruntergeladenen Quants entsprechen. Falls nicht, funktioniert Offloading auf Festplatte/SSD mit llama.cpp, nur wird die Inferenz langsamer. Verwenden Sie außerdem --fit on in llama.cpp um die maximale GPU-Auslastung automatisch zu aktivieren!

Empfohlene Einstellungen

Verwenden Sie unterschiedliche Einstellungen für verschiedene Anwendungsfälle. Empfohlene Einstellungen für Standard- und mehrteilige agentische Anwendungsfälle:

Standardeinstellungen (die meisten Aufgaben)	Terminal Bench, SWE Bench Verifiziert
temperature = 1.0	temperature = 0.7
top_p = 0.95	top_p = 1.0
131072 max new tokens	16384 max new tokens

• Verwenden Sie --jinja für llama.cpp-Varianten – wir haben einige Probleme mit Chat-Vorlagen behoben!

• Maximales Kontextfenster: 131,072

GLM-4.7-Tutorials ausführen:

Sehen Sie unsere Schritt-für-Schritt-Anleitungen zum Ausführen von GLM-4.7 in Ollama und llama.cpp.

✨ In llama.cpp ausführen

1

Holen Sie sich das neueste llama.cpp auf GitHub hier. Sie können auch den untenstehenden Build-Anweisungen folgen. Ändern Sie -DGGML_CUDA=ON zu -DGGML_CUDA=OFF wenn Sie keine GPU haben oder nur CPU-Inferenz wünschen. Für Apple Mac / Metal-Geräte, setzen Sie -DGGML_CUDA=OFF und fahren dann wie gewohnt fort – Metal-Unterstützung ist standardmäßig aktiviert.

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2

Wenn Sie llama.cpp direkt zum Laden von Modellen verwenden möchten, können Sie Folgendes tun: (:Q2_K_XL) ist der Quantisierungstyp. Sie können auch über Hugging Face (Punkt 3) herunterladen. Das ist ähnlich wie ollama run . Verwenden Sie export LLAMA_CACHE="folder" um llama.cpp zu zwingen, an einem bestimmten Ort zu speichern. Denken Sie daran, dass das Modell nur eine maximale Kontextlänge von 128K hat.

export LLAMA_CACHE="unsloth/GLM-4.7-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/GLM-4.7-GGUF:UD-Q2_K_XL \
    --jinja \
    --ctx-size 16384 \
    --flash-attn on \
    --temp 1.0 \
    --top-p 0.95 \
    --fit on

Verwenden Sie --fit on eingeführt am 15. Dez. 2025 für maximale Nutzung Ihrer GPU und CPU.

Optional versuchen Sie -ot ".ffn_.*_exps.=CPU" um alle MoE-Schichten auf die CPU auszulagern! Dadurch können Sie effektiv alle Nicht-MoE-Schichten auf einer GPU unterbringen, was die Generationsgeschwindigkeit verbessert. Sie können den Regex-Ausdruck anpassen, um mehr Schichten zu verschieben, wenn Sie mehr GPU-Kapazität haben.

Wenn Sie etwas mehr GPU-Speicher haben, versuchen Sie -ot ".ffn_(up|down)_exps.=CPU" Dies lagert Up- und Down-Projection-MoE-Schichten aus.

Versuchen Sie -ot ".ffn_(up)_exps.=CPU" wenn Sie noch mehr GPU-Speicher haben. Dies lagert nur Up-Projection-MoE-Schichten aus.

Und schließlich lagern Sie alle Schichten über -ot ".ffn_.*_exps.=CPU" aus.

Dies verwendet am wenigsten VRAM. Sie können auch den Regex anpassen, zum Beispiel -ot "\.(6|7|8|9|[0-9][0-9]|[0-9][0-9][0-9])\.ffn_(gate|up|down)_exps.=CPU"

3

bedeutet, Gate-, Up- und Down-MoE-Schichten auszulagern, jedoch nur ab der 6. Schicht. Laden Sie das Modell herunter via (nach der Installation von pip install huggingface_hub hf_transfer ). Sie können auswählenUD- Q2_K_XL (dynamic 2bit quant) oder andere quantisierte Versionen wie Q4_K_XL . Wir empfehlen die Verwendung unseres 2,7-Bit Dynamic Quant UD-Q2_K_XL.

um Größe und Genauigkeit auszubalancieren
pip install -U huggingface_hub
    hf download unsloth/GLM-4.7-GGUF \
    --local-dir unsloth/GLM-4.7-GGUF \

4

--include "*UD-Q2_K_XL*" # Verwenden Sie "*UD-TQ1_0*" für Dynamic 1bit Sie können --threads 32 für die Anzahl der CPU-Threads bearbeiten, --ctx-size 16384 für Kontextlänge, --n-gpu-layers 2

./llama.cpp/llama-cli \
    für das GPU-Offloading, also wie viele Schichten. Versuchen Sie, es anzupassen, wenn Ihre GPU nicht mehr genug Speicher hat. Entfernen Sie es auch, wenn Sie nur CPU-Inferenz haben.
    --jinja \
    --temp 1.0 \
    --top-p 0.95 \
    --ctx-size 16384 \
    --model unsloth/GLM-4.7-GGUF/UD-Q2_K_XL/GLM-4.7-UD-Q2_K_XL-00001-of-00003.gguf \
    --fit on

🦙 --seed 3407 \

1

In Ollama ausführen Installieren Sie ollama falls Sie es noch nicht getan haben! Um weitere Varianten des Modells auszuführen,.

apt-get update
siehe hier
apt-get install pciutils -y

2

curl -fsSL https://ollama.com/install.sh | sh Führen Sie das Modell aus! Beachten Sie, dass Sieollama serve in einem anderen Terminal aufrufen können, wenn es fehlschlägt! Wir fügen alle unsere Fixes und vorgeschlagenen Parameter (Temperatur usw.) in params

in unserem Hugging Face-Upload ein!

OLLAMA_MODELS=unsloth ollama serve &

3

OLLAMA_MODELS=unsloth ollama run hf.co/unsloth/GLM-4.7-GGUF:TQ1_0

Um andere Quants auszuführen, müssen Sie zunächst die GGUF-Split-Dateien zu einer Datei zusammenführen, wie der folgende Code zeigt. Danach müssen Sie das Modell lokal ausführen.
  ./llama.cpp/llama-gguf-split --merge \
	GLM-4.7-GGUF/GLM-4.7-UD-Q2_K_XL/GLM-4.7-UD-Q2_K_XL-00001-of-00003.gguf \

in unserem Hugging Face-Upload ein!

merged_file.gguf

OLLAMA_MODELS=unsloth ollama run merged_file.gguf

✨ Mit llama-server und OpenAIs Completion-Bibliothek bereitstellen

Um llama-server für die Bereitstellung zu verwenden, nutzen Sie folgenden Befehl:
    für das GPU-Offloading, also wie viele Schichten. Versuchen Sie, es anzupassen, wenn Ihre GPU nicht mehr genug Speicher hat. Entfernen Sie es auch, wenn Sie nur CPU-Inferenz haben.
    ./llama.cpp/llama-server \
    --alias "unsloth/GLM-4.7" \
    --fit on \
    --temp 1.0 \
    --top-p 0.95 \
    --ctx-size 16384 \
    --prio 3 \
    --jinja

--port 8001 \ Verwenden Sie danach die Python-Bibliothek von OpenAI nach :

pip install openai
from openai import OpenAI
import json
    openai_client = OpenAI(
    base_url = "http://127.0.0.1:8001/v1",
)
api_key = "sk-no-key-required",
    completion = openai_client.chat.completions.create(
    model = "unsloth/GLM-4.7",
)
messages = [{"role": "user", "content": "What is 2+2?"},],

🔨print(completion.choices[0].message.content)

Tool Calling mit GLM 4.7 Tool Calling Guide Siehe

für weitere Details zum Tool Calling. In einem neuen Terminal (bei Verwendung von tmux: STRG+B+D) erstellen wir einige Tools wie das Addieren von 2 Zahlen, das Ausführen von Python-Code, das Ausführen von Linux-Funktionen und vieles mehr:
import json, subprocess, random
from typing import Any
    def add_number(a: float | str, b: float | str) -> float:
return float(a) + float(b)
    def multiply_number(a: float | str, b: float | str) -> float:
return float(a) * float(b)
    def substract_number(a: float | str, b: float | str) -> float:
return float(a) - float(b)
    def write_a_story() -> str:
        return random.choice([
        "Vor langer Zeit in einer weit, weit entfernten Galaxie...",
        "Es gab 2 Freunde, die Faultiere und Code liebten...",
        "Die Welt ging unter, weil jedes Faultier zu übermenschlicher Intelligenz evolvierte...",
    ])
"Ohne Wissen des einen Freundes hatte der andere versehentlich ein Programm geschrieben, das Faultiere evolvieren ließ...",
    def terminal(command: str) -> str:
        if "rm" in command or "sudo" in command or "dd" in command or "chmod" in command:
        msg = "Kann 'rm, sudo, dd, chmod'-Befehle nicht ausführen, da sie gefährlich sind"
    print(msg); return msg
    print(f"Terminal-Befehl `{command}` wird ausgeführt")
        try:
    return str(subprocess.run(command, capture_output = True, text = True, shell = True, check = True).stdout)
        except subprocess.CalledProcessError as e:
return f"Befehl fehlgeschlagen: {e.stderr}"
    def python(code: str) -> str:
    data = {}
    exec(code, data)
    del data["__builtins__"]
return str(data)
    MAP_FN = {
    "add_number": add_number,
    "multiply_number": multiply_number,
    "substract_number": substract_number,
    "write_a_story": write_a_story,
    "terminal": terminal,
}
"python": python,
    {
        tools = [
        "type": "function",
            "function": {
            "name": "add_number",
            "description": "Addiere zwei Zahlen.",
                "parameters": {
                "type": "object",
                    "properties": {
                        "a": {
                        "type": "string",
                    },
                    "description": "Die erste Zahl.",
                        "a": {
                        "b": {
                    },
                },
                "description": "Die zweite Zahl.",
            },
        },
    },
    {
        tools = [
        "type": "function",
            "required": ["a", "b"],
            "name": "multiply_number",
            "description": "Addiere zwei Zahlen.",
                "parameters": {
                "type": "object",
                    "properties": {
                        "a": {
                        "type": "string",
                    },
                    "description": "Die erste Zahl.",
                        "a": {
                        "b": {
                    },
                },
                "description": "Die zweite Zahl.",
            },
        },
    },
    {
        tools = [
        "type": "function",
            "description": "Multipliziert zwei Zahlen.",
            "name": "substract_number",
            "description": "Addiere zwei Zahlen.",
                "parameters": {
                "type": "object",
                    "properties": {
                        "a": {
                        "type": "string",
                    },
                    "description": "Die erste Zahl.",
                        "a": {
                        "b": {
                    },
                },
                "description": "Die zweite Zahl.",
            },
        },
    },
    {
        tools = [
        "type": "function",
            "description": "Subtrahiert zwei Zahlen.",
            "name": "write_a_story",
            "description": "Addiere zwei Zahlen.",
                "parameters": {
                "description": "Schreibt eine zufällige Geschichte.",
                "properties": {},
            },
        },
    },
    {
        tools = [
        "type": "function",
            "required": [],
            "name": "terminal",
            "description": "Addiere zwei Zahlen.",
                "parameters": {
                "type": "object",
                    "description": "Führt Operationen vom Terminal aus.",
                        "a": {
                        "command": {
                    },
                },
                "description": "Der Befehl, den Sie ausführen möchten, z. B. `ls`, `rm`, ...",
            },
        },
    },
    {
        tools = [
        "type": "function",
            "required": ["command"],
            "name": "python",
            "description": "Addiere zwei Zahlen.",
                "parameters": {
                "type": "object",
                    "description": "Ruft einen Python-Interpreter mit Python-Code auf, der ausgeführt wird.",
                        "a": {
                        "code": {
                    },
                },
                "description": "Der auszuführende Python-Code",
            },
        },
    },
]

"required": ["code"],

pip install openai
Wir verwenden dann die folgenden Funktionen (kopieren, einfügen und ausführen), die die Funktionsaufrufe automatisch parsen und den OpenAI-Endpunkt für ein beliebiges Modell aufrufen:
    def unsloth_inference(
    messages,
    temperature = 0.7,
    top_p = 0.95,
    top_k = 40,
    min_p = 0.01,
):
    repetition_penalty = 1.0,
    import json
        openai_client = OpenAI(
        base_url = "http://127.0.0.1:8001/v1",
    )
    messages = messages.copy()
    model_name = next(iter(openai_client.models.list())).id
    print(f"Verwendetes Modell = {model_name}")
    has_tool_calls = True
    original_messages_len = len(messages)
        while has_tool_calls:
        print(f"Aktuelle Nachrichten = {messages}")
            response = openai_client.chat.completions.create(
            model = model_name,
            messages = messages,
            temperature = temperature,
            top_p = top_p,
            tools = tools if tools else None,
            tool_choice = "auto" if tools else None,
        )
        extra_body = {"top_k": top_k, "min_p": min_p, "repetition_penalty" :repetition_penalty,}
        tool_calls = response.choices[0].message.tool_calls or []
        content = response.choices[0].message.content or ""
        tool_calls_dict = [tc.to_dict() for tc in tool_calls] if tool_calls else tool_calls
        messages.append({"role": "assistant", "tool_calls": tool_calls_dict, "content": content,})
            for tool_call in tool_calls:
            fx, args, _id = tool_call.function.name, tool_call.function.arguments, tool_call.id
            out = MAP_FN[fx](**json.loads(args))
        messages.append({"role": "tool", "tool_call_id": _id, "name": fx, "content": str(out),})
            else:
    has_tool_calls = False

return messages Nach dem Start von GLM 4.7 via llama-server GLM-4.7 wie in Tool Calling Guide oder siehe

für weitere Details, können wir dann einige Tool-Aufrufe durchführen:

Tool-Aufruf für mathematische Operationen für GLM 4.7
    messages = [{
    "role": "user",
}]
"content": [{"type": "text", "text": "Was ist das heutige Datum plus 3 Tage?"}],

unsloth_inference(messages, temperature = 0.7, top_p = 1.0, top_k = -1, min_p = 0.00)

Tool-Aufruf für mathematische Operationen für GLM 4.7
    messages = [{
    Tool-Aufruf zum Ausführen generierten Python-Codes für GLM 4.7
}]
"content": [{"type": "text", "text": "Was ist das heutige Datum plus 3 Tage?"}],

🏂 "content": [{"type": "text", "text": "Erstelle eine Fibonacci-Funktion in Python und finde fib(20)."}],

Verwenden Sie --fit on Verbesserung der Generationsgeschwindigkeit eingeführt am 15. Dez. 2025 zur maximalen Nutzung Ihrer GPU und CPU. Siehe --fit on https://github.com/ggml-org/llama.cpp/pull/16653

auto offloads so viel des Modells wie möglich auf die GPU und legt den Rest auf die CPU.

Wenn Sie mehr VRAM haben, können Sie versuchen, mehr MoE-Schichten auszulagern oder ganze Schichten selbst auszulagern. -ot ".ffn_.*_exps.=CPU" Normalerweise

Wenn Sie etwas mehr GPU-Speicher haben, versuchen Sie -ot ".ffn_(up|down)_exps.=CPU" Dies lagert Up- und Down-Projection-MoE-Schichten aus.

Versuchen Sie -ot ".ffn_(up)_exps.=CPU" wenn Sie noch mehr GPU-Speicher haben. Dies lagert nur Up-Projection-MoE-Schichten aus.

Dies verwendet am wenigsten VRAM. Sie können auch den Regex anpassen, zum Beispiel -ot "\.(6|7|8|9|[0-9][0-9]|[0-9][0-9][0-9])\.ffn_(gate|up|down)_exps.=CPU"

lagert alle MoE-Schichten auf die CPU aus! Dadurch können Sie effektiv alle Nicht-MoE-Schichten auf einer GPU unterbringen, was die Generationsgeschwindigkeit verbessert. Sie können den Regex-Ausdruck anpassen, um mehr Schichten zu verschieben, wenn Sie mehr GPU-Kapazität haben. Llama.cpp führt außerdem einen Hochdurchsatzmodus ein. Verwenden Siellama-parallel . Lesen Sie mehr dazuhier . Sie können auch den KV-Cache auf 4 Bit quantisieren

zum Beispiel, um VRAM-/RAM-Bewegungen zu reduzieren, was den Generationsprozess ebenfalls beschleunigen kann.

📐Wie man langen Kontext einpasst (vollständig 128K) Um längere Kontexte unterzubringen, können Sie KV-Cache-Quantisierung verwenden, um die K- und V-Caches auf niedrigere Bits zu quantisieren. Dies kann aufgrund reduzierter RAM-/VRAM-Datenbewegungen auch die Generationsgeschwindigkeit erhöhen. Die erlaubten Optionen für K-Quantisierung (Standard istf16

) beinhalten die folgenden.

--cache-type-k f32, f16, bf16, q8_0, q4_0, q4_1, iq4_nl, q5_0, q5_1 _1 Sie sollten die Varianten für etwas erhöhte Genauigkeit verwenden, obwohl sie etwas langsamer sind. Zum Beispiel

q4_1, q5_1 Sie können auch den V-Cache quantisieren, aber Sie müssen llama.cpp mit Flash Attention kompilieren Unterstützung via-DGGML_CUDA_FA_ALL_QUANTS=ON , und verwenden Sie --flash-attn um es zu aktivieren. Dann können Sie es zusammen mit :

--cache-type-k verwenden, und