# GLM-5.1 - Wie man lokal ausführt GLM-5.1 ist das neue Open Model von Z.ai. Im Vergleich zu [GLM-5](/docs/de/modelle/tutorials/glm-5.md) bietet es deutliche Verbesserungen bei Coding, agentischem Tool-Einsatz, Schlussfolgerung, Rollenspiel, langfristigen agentischen Aufgaben und der gesamten Chat-Qualität. Das vollständige GLM-5.1-Modell mit 744B Parametern (40B aktiv) hat ein **200K-Context** -Fenster und benötigt **1,65 TB** an Festplattenspeicher. Unsloth Dynamic 2-bit GGUF reduziert die Größe auf **220 GB** **(-80%)**und dynamisch **1-bit sind 200 GB (-85%):** [**GLM-5.1-GGUF**](https://huggingface.co/unsloth/GLM-5.1-GGUF) Alle Uploads verwenden Unsloth [Dynamic 2.0](/docs/de/grundlagen/unsloth-dynamic-2.0-ggufs.md) für SOTA-Quantisierungsleistung – daher werden bei niedrigeren Bits wichtige Schichten auf 8- oder 16-Bit hochgestuft. Vielen Dank an Z.ai, dass sie Unsloth Zugriff ab Tag null ermöglicht haben. {% hint style="info" %} **NICHT** die CUDA-13.2-Runtime für irgendein GGUF verwenden, da dies zu schlechten Ausgaben führt. {% endhint %} #### :gear: Verwendungsleitfaden Die mittelgroße dynamische 2-Bit-Quantisierung `UD-IQ2_M` verwendet **236 GB** an Speicherplatz – das passt direkt auf einen **Mac mit 256 GB Unified Memory** und funktioniert gut auf einem **1x24GB GPU** und **256 GB RAM** mit MoE-Offloading. Die **1-Bit** Die Quantisierung passt auf 220 GB RAM, und 8-Bit benötigt 805 GB RAM. {% hint style="success" %} Für die beste Leistung stelle sicher, dass dein insgesamt verfügbarer Speicher (VRAM + Systemspeicher) größer ist als die Größe der quantisierten Modelldatei, die du herunterlädst. Falls nicht, kann llama.cpp weiterhin über SSD/HDD-Offloading ausgeführt werden, aber die Inferenz wird langsamer sein. {% endhint %} ### Empfohlene Einstellungen Verwende unterschiedliche Einstellungen für verschiedene Anwendungsfälle: | Standard-Einstellungen (die meisten Aufgaben) | Terminal Bench | | --------------------------------------------- | ------------------------ | | `Temperatur` = 1.0 | `Temperatur` = 0.7 | | `top_p` = 0.95 | `top_p` = 1.0 | | max. neue Tokens = 131072 | max. neue Tokens = 16384 | * **Maximales Kontextfenster:** `202,752`. * In GLM-5.1 ist Denken standardmäßig aktiviert. So deaktivieren Sie das Denken: {% code expandable="true" %} ```bash --chat-template-kwargs '{"enable_thinking":false}' ``` {% endcode %} #### Aktualisierung der Chat-Vorlage GLM-5.1 verwendet dieselbe Architektur wie GLM-5, nur `chat_template.jinja` ist anders. * Unterstützt Claudes Suchwerkzeug. Werkzeuge mit `defer_loading=True` werden aus dem Systemprompt ausgelassen und stattdessen in den Tool-Ergebnissen angezeigt. * Leere Reasoning-Blöcke (``) in Assistant-Nachrichten zulassen. Aufeinanderfolgende Assistant-Nachrichten müssen im selben Modus bleiben, entweder denkend oder nicht denkend. * Insgesamt verbessert GLM-5.1 vor allem die Tool-Exposition, die Rekonstruktion der Reasoning-Historie und das Rendering von Tool-Nachrichten. ## GLM-5.1-Tutorials ausführen: Sie können GLM-5.1 jetzt in [llama.cpp](#run-in-llama.cpp) und [Unsloth Studio](#run-in-unsloth-studio). ### 🦥 In Unsloth Studio ausführen GLM-5.1 kann jetzt in [Unsloth Studio](/docs/de/neu/studio.md)ausgeführt werden, unserer neuen Open-Source-Web-UI für lokale KI. Mit Unsloth Studio können Sie Modelle lokal auf **MacOS, Windows**, Linux und: {% columns %} {% column %} * Suchen, herunterladen, [GGUFs ausführen](/docs/de/neu/studio.md#run-models-locally) und Safetensor-Modelle * [**Selbstheilendes** Tool-Calling](/docs/de/neu/studio.md#execute-code--heal-tool-calling) + **Websuche** * [**Code-Ausführung**](/docs/de/neu/studio.md#run-models-locally) (Python, Bash) * [Automatische Inferenz](/docs/de/neu/studio.md#model-arena) Parameter-Tuning (Temp, Top-p usw.) * Verwendet llama.cpp für schnelle CPU- und GPU-Inferenz sowie CPU-Offloading {% endcolumn %} {% column %}
{% endcolumn %} {% endcolumns %} {% stepper %} {% step %} #### Unsloth installieren Führen Sie es in Ihrem Terminal aus: **MacOS, Linux, WSL:** ```bash curl -fsSL https://unsloth.ai/install.sh | sh ``` **Windows PowerShell:** ```bash irm https://unsloth.ai/install.ps1 | iex ``` {% endstep %} {% step %} #### Unsloth starten **MacOS, Linux, WSL und Windows:** ```bash unsloth studio -H 0.0.0.0 -p 8888 ``` **Dann öffnen Sie `http://localhost:8888` in Ihrem Browser.** {% endstep %} {% step %} #### GLM-5.1 suchen und herunterladen Beim ersten Start müssen Sie ein Passwort erstellen, um Ihr Konto zu sichern, und sich später erneut anmelden. Anschließend sehen Sie einen kurzen Einrichtungsassistenten, in dem Sie ein Modell, einen Datensatz und grundlegende Einstellungen auswählen. Sie können ihn jederzeit überspringen. Sie können `UD-Q2_K_XL` (dynamische 2-Bit-Quantisierung) oder andere quantisierte Versionen wie `UD-Q4_K_XL` . Wir **empfehlen die Verwendung unseres 2-Bit-Dynamic-Quants**** ****`UD-Q2_K_XL`**** ****zu verwenden, um Größe und Genauigkeit auszubalancieren**. Wenn Downloads hängen bleiben, siehe [Hugging Face Hub, XET-Debugging](/docs/de/grundlagen/troubleshooting-and-faqs/hugging-face-hub-xet-debugging.md) Gehen Sie dann zur [Studio Chat](/docs/de/neu/studio/chat.md) Registerkarte auswählen und in der Suchleiste nach GLM-5.1 suchen sowie Ihr gewünschtes Modell und Ihre gewünschte Quantisierung herunterladen. Das Herunterladen dauert aufgrund der Größe etwas, bitte warten Sie daher. Um schnelle Inferenz sicherzustellen, stellen Sie sicher, dass Sie [genügend RAM/VRAM](#usage-guide)haben, andernfalls funktioniert die Inferenz zwar weiterhin, aber Unsloth lagert auf Ihre CPU aus.
{% endstep %} {% step %} #### GLM-5.1 ausführen Inferenzparameter sollten bei der Verwendung von Unsloth Studio automatisch gesetzt werden; Sie können sie jedoch weiterhin manuell ändern. Sie können auch die Kontextlänge, die Chat-Vorlage und andere Einstellungen bearbeiten. Weitere Informationen finden Sie in unserer [Unsloth Studio-Inferenzanleitung](/docs/de/neu/studio/chat.md). {% endstep %} {% endstepper %} ### 🦙 In llama.cpp ausführen {% stepper %} {% step %} Hole dir die neueste `llama.cpp` **auf** [**GitHub hier**](https://github.com/ggml-org/llama.cpp). Du kannst auch den untenstehenden Build-Anweisungen folgen. Ändere `-DGGML_CUDA=ON` zu `-DGGML_CUDA=OFF` wenn du keine GPU hast oder nur CPU-Inferenz möchtest. **Für Apple Mac / Metal-Geräte**, setze `-DGGML_CUDA=OFF` und fahre dann wie gewohnt fort - Metal-Unterstützung ist standardmäßig aktiviert. ```bash apt-get update apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y git clone https://github.com/ggml-org/llama.cpp cmake llama.cpp -B llama.cpp/build \ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpp ``` {% endstep %} {% step %} Wenn du `llama.cpp` direkt zum Laden von Modellen verwenden möchtest, kannst du Folgendes tun: (:`IQ2_M`) ist der Quantisierungstyp. Sie können auch über Hugging Face herunterladen (Punkt 3). Dies ähnelt `ollama run` . Verwenden Sie `export LLAMA_CACHE="folder"` um zu erzwingen, dass `llama.cpp` um an einem bestimmten Ort zu speichern. Denke daran, dass das Modell nur eine maximale Kontextlänge von 200K hat. Folge dem hier für **allgemeine Anweisungs-** Anwendungsfälle: ```bash export LLAMA_CACHE="unsloth/GLM-5.1-GGUF" ./llama.cpp/llama-cli \ -hf unsloth/GLM-5.1-GGUF:UD-IQ2_M \\ --ctx-size 16384 \ --temp 0.7 \\ --top-p 1.0 ``` Folge dem hier für **Tool-Aufruf** Anwendungsfälle: ```bash export LLAMA_CACHE="unsloth/GLM-5.1-GGUF" ./llama.cpp/llama-cli \ -hf unsloth/GLM-5.1-GGUF:UD-IQ2_M \\ --ctx-size 16384 \ --temp 1.0 \ --top-p 0.95 ``` {% endstep %} {% step %} Lade das Modell herunter über (nach der Installation von `pip install huggingface_hub hf_transfer` ). Du kannst `UD-Q2_K_XL` (dynamische 2-Bit-Quantisierung) oder andere quantisierte Versionen wie `UD-Q4_K_XL` . Wir **empfehlen die Verwendung unseres 2-Bit-Dynamic-Quants**** ****`UD-Q2_K_XL`**** ****zu verwenden, um Größe und Genauigkeit auszubalancieren**. Wenn Downloads hängen bleiben, siehe [Hugging Face Hub, XET-Debugging](/docs/de/grundlagen/troubleshooting-and-faqs/hugging-face-hub-xet-debugging.md) ```bash pip install -U huggingface_hub hf download unsloth/GLM-5.1-GGUF \\ --local-dir unsloth/GLM-5.1-GGUF \\ --include "*UD-IQ2_M*" # Verwenden Sie "*UD-TQ1_0*" für Dynamic 1bit ``` {% endstep %} {% step %} Sie können `--threads 32` für die Anzahl der CPU-Threads bearbeiten, `--ctx-size 16384` für die Kontextlänge, `--n-gpu-layers 2` für GPU-Offloading, also für wie viele Layer. Versuchen Sie, dies anzupassen, wenn Ihrem GPU-Speicher der Platz ausgeht. Entfernen Sie es auch, wenn Sie nur CPU-Inferenz haben. {% code overflow="wrap" %} ```bash ./llama.cpp/llama-cli \ --model unsloth/GLM-5.1-GGUF/UD-IQ2_M/GLM-5.1-UD-IQ2_M-00001-of-00006.gguf \\ --temp 1.0 \ --top-p 0.95 \ --ctx-size 16384 \ --seed 3407 ``` {% endcode %} {% endstep %} {% endstepper %} #### 🦙 Llama-Server Serving & OpenAI's Completion-Bibliothek Um GLM-5 produktiv bereitzustellen, verwenden wir `llama-server` In einem neuen Terminal, z. B. via tmux, stelle das Modell bereit mit: {% code overflow="wrap" %} ```bash ./llama.cpp/llama-server \ --model unsloth/GLM-5.1-GGUF/UD-IQ2_M/GLM-5.1-UD-IQ2_M-00001-of-00006.gguf \\ --alias "unsloth/GLM-5.1" \\ --prio 3 \ --temp 1.0 \ --top-p 0.95 \ --ctx-size 16384 \ --port 8001 ``` {% endcode %} Dann in einem neuen Terminal, nachdem du `pip install openai`ausgeführt hast, mache: {% code overflow="wrap" %} ```python from openai import OpenAI import json openai_client = OpenAI( base_url = "http://127.0.0.1:8001/v1", api_key = "sk-no-key-required", ) completion = openai_client.chat.completions.create( model = "unsloth/GLM-5.1", messages = [{"role": "user", "content": "Erstelle ein Snake-Spiel."},], ) print(completion.choices[0].message.content) ``` {% endcode %} Du kannst das bereitgestellte Modell dann über die OpenAI-API aufrufen: ```python from openai import AsyncOpenAI, OpenAI openai_api_key = "EMPTY" openai_api_base = "http://localhost:8001/v1" client = OpenAI( # oder AsyncOpenAI api_key = openai_api_key, base_url = openai_api_base, ) ``` ### :hammer:Tool-Aufruf mit GLM-5.1 Siehe [Tool Calling Guide](/docs/de/grundlagen/tool-calling-guide-for-local-llms.md) für weitere Details dazu, wie Tool-Calling durchgeführt wird. In einem neuen Terminal (wenn Sie tmux verwenden, nutzen Sie CTRL+B+D) erstellen wir einige Tools wie das Addieren von 2 Zahlen, das Ausführen von Python-Code, das Ausführen von Linux-Funktionen und vieles mehr: {% code expandable="true" %} ```python import json, subprocess, random from typing import Any def add_number(a: float | str, b: float | str) -> float: return float(a) + float(b) def multiply_number(a: float | str, b: float | str) -> float: return float(a) * float(b) def subtract_number(a: float | str, b: float | str) -> float: return float(a) - float(b) def write_a_story() -> str: return random.choice([ "Vor langer Zeit in einer weit, weit entfernten Galaxie...", "Es gab 2 Freunde, die Faultiere und Code liebten...", "Die Welt ging unter, weil sich jedes Faultier zu übermenschlicher Intelligenz entwickelte...", "Ohne dass ein Freund es wusste, programmierte der andere versehentlich ein Programm, um Faultiere zu entwickeln...", ]) def terminal(command: str) -> str: if "rm" in command or "sudo" in command or "dd" in command or "chmod" in command: msg = "Kann die Befehle 'rm, sudo, dd, chmod' nicht ausführen, da sie gefährlich sind" print(msg); return msg print(f"Führe Terminalbefehl `{command}` aus") try: return str(subprocess.run(command, capture_output = True, text = True, shell = True, check = True).stdout) except subprocess.CalledProcessError as e: return f"Befehl fehlgeschlagen: {e.stderr}" def python(code: str) -> str: data = {} exec(code, data) del data["__builtins__"] return str(data) MAP_FN = { "add_number": add_number, "multiply_number": multiply_number, "subtract_number": subtract_number, "write_a_story": write_a_story, "terminal": terminal, "python": python, } tools = [ { "type": "function", "function": { "name": "add_number", "description": "Add two numbers.", "parameters": { "type": "object", "properties": { "a": { "type": "string", "description": "Die erste Zahl.", }, "b": { "type": "string", "description": "Die zweite Zahl.", }, }, "required": ["a", "b"], }, }, }, { "type": "function", "function": { "name": "multiply_number", "description": "Multipliziere zwei Zahlen.", "parameters": { "type": "object", "properties": { "a": { "type": "string", "description": "Die erste Zahl.", }, "b": { "type": "string", "description": "Die zweite Zahl.", }, }, "required": ["a", "b"], }, }, }, { "type": "function", "function": { "name": "subtract_number", "description": "Subtrahiere zwei Zahlen.", "parameters": { "type": "object", "properties": { "a": { "type": "string", "description": "Die erste Zahl.", }, "b": { "type": "string", "description": "Die zweite Zahl.", }, }, "required": ["a", "b"], }, }, }, { "type": "function", "function": { "name": "write_a_story", "description": "Schreibt eine zufällige Geschichte.", "parameters": { "type": "object", "properties": {}, "required": [], }, }, }, { "type": "function", "function": { "name": "terminal", "description": "Führe Operationen im Terminal aus.", "parameters": { "type": "object", "properties": { "command": { "type": "string", "description": "Der Befehl, den du ausführen möchtest, z. B. `ls`, `rm`, ...", }, }, "required": ["command"], }, }, }, { "type": "function", "function": { "name": "python", "description": "Rufe einen Python-Interpreter mit etwas Python-Code auf, der ausgeführt wird.", "parameters": { "type": "object", "properties": { "code": { "type": "string", "description": "Der auszuführende Python-Code", }, }, "required": ["code"], }, }, }, ] ``` {% endcode %} Wir verwenden dann die folgenden Funktionen (kopieren, einfügen und ausführen), die die Funktionsaufrufe automatisch parsen und für jedes Modell den OpenAI-Endpunkt aufrufen: {% code overflow="wrap" expandable="true" %} ```python from openai import OpenAI def unsloth_inference( messages, temperature = 1.0, top_p = 0.95, top_k = -1, min_p = 0.01, repetition_penalty = 1.0, ): messages = messages.copy() openai_client = OpenAI( base_url = "http://127.0.0.1:8001/v1", api_key = "sk-no-key-required", ) model_name = next(iter(openai_client.models.list())).id print(f"Verwende Modell = {model_name}") has_tool_calls = True original_messages_len = len(messages) while has_tool_calls: print(f"Aktuelle Nachrichten = {messages}") response = openai_client.chat.completions.create( model = model_name, messages = messages, temperature = temperature, top_p = top_p, tools = tools if tools else None, tool_choice = "auto" if tools else None, extra_body = {"top_k": top_k, "min_p": min_p, "repetition_penalty" :repetition_penalty,} ) tool_calls = response.choices[0].message.tool_calls or [] content = response.choices[0].message.content or "" tool_calls_dict = [tc.to_dict() for tc in tool_calls] if tool_calls else tool_calls messages.append({"role": "assistant", "tool_calls": tool_calls_dict, "content": content,}) for tool_call in tool_calls: fx, args, _id = tool_call.function.name, tool_call.function.arguments, tool_call.id out = MAP_FN[fx](**json.loads(args)) messages.append({"role": "tool", "tool_call_id": _id, "name": fx, "content": str(out),}) else: has_tool_calls = False return messages ``` {% endcode %} Nach dem Start von GLM 5.1 über `llama-server` wie in [#deploy-with-llama-server-and-openais-completion-library](#deploy-with-llama-server-and-openais-completion-library "mention") oder siehe [Tool Calling Guide](/docs/de/grundlagen/tool-calling-guide-for-local-llms.md) für weitere Details können wir dann einige Tool-Aufrufe durchführen. ### 📊 Benchmarks Sie können weiter unten Benchmarks für GLM-5.1 in Tabellenform ansehen:
| Benchmark | GLM-5.1 | GLM-5 | Qwen3.6-Plus | Minimax M2.7 | DeepSeek-V3.2 | Kimi K2.5 | Claude Opus 4.6 | Gemini 3.1 Pro | GPT-5.4 | | --------------------------------------- | ------------------ | ------------------ | ------------ | ------------------ | ------------------ | --------- | --------------- | -------------- | ---------------- | | HLE | 31.0 | 30.5 | 28.8 | 28.0 | 25.1 | 31.5 | 36.7 | **45.0** | 39.8 | | HLE (mit Tools) | 52.3 | 50.4 | 50.6 | - | 40.8 | 51.8 | **53.1**\* | 51.4\* | 52.1\* | | AIME 2026 | 95.3 | 95.4 | 95.1 | 89.8 | 95.1 | 94.5 | 95.6 | 98.2 | **98.7** | | HMMT Nov. 2025 | 94.0 | **96.9** | 94.6 | 81.0 | 90.2 | 91.1 | 96.3 | 94.8 | 95.8 | | HMMT Feb. 2026 | 82.6 | 82.8 | 87.8 | 72.7 | 79.9 | 81.3 | 84.3 | 87.3 | **91.8** | | IMOAnswerBench | 83.8 | 82.5 | 83.8 | 66.3 | 78.3 | 81.8 | 75.3 | 81.0 | **91.4** | | GPQA-Diamond | 86.2 | 86.0 | 90.4 | 87.0 | 82.4 | 87.6 | 91.3 | **94.3** | 92.0 | | SWE-Bench Pro | **58.4** | 55.1 | 56.6 | 56.2 | - | 53.8 | 57.3 | 54.2 | 57.7 | | NL2Repo | 42.7 | 35.9 | 37.9 | 39.8 | - | 32.0 | **49.8** | 33.4 | 41.3 | | Terminal-Bench 2.0 (Terminus-2) | 63.5 | 56.2 | 61.6 | - | 39.3 | 50.8 | 65.4 | **68.5** | - | | Terminal-Bench 2.0 (Best self-reported) | 66.5 (Claude Code) | 56.2 (Claude Code) | - | 57.0 (Claude Code) | 46.4 (Claude Code) | - | - | - | **75.1** (Codex) | | CyberGym | **68.7** | 48.3 | - | - | 17.3 | 41.3 | 66.6 | - | - | | BrowseComp | **68.0** | 62.0 | - | - | 51.4 | 60.6 | - | - | - | | BrowseComp (mit Kontextverwaltung) | 79.3 | 75.9 | - | - | 67.6 | 74.9 | 84.0 | **85.9** | 82.7 | | τ³-Bench | 70.6 | 69.2 | 70.7 | 67.6 | 69.2 | 66.0 | 72.4 | 67.1 | **72.9** | | MCP-Atlas (öffentliches Set) | 71.8 | 69.2 | **74.1** | 48.8 | 62.2 | 63.8 | 73.8 | 69.2 | 67.2 | | Tool-Decathlon | 40.7 | 38.0 | 39.8 | 46.3 | 35.2 | 27.8 | 47.2 | 48.8 | **54.6** | | Vending Bench 2 | $5,634.00 | $4,432.12 | $5,114.87 | - | $1,034.00 | $1,198.46 | **$8,017.59** | $911.21 | $6,144.18 | --- # Agent Instructions: Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter: ``` GET https://unsloth.ai/docs/de/modelle/glm-5.1.md?ask= ``` The question should be specific, self-contained, and written in natural language. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.