For the complete documentation index, see llms.txt. This page is also available as Markdown.

GLM-5.2 - So lokal ausführen

Führen Sie das neue GLM-5.2-Modell von Z.ai auf lokaler Hardware aus!

GLM-5.2 ist das neue offene Modell von Z.ai und liefert SOTA-Performance bei Long-Horizon-Coding, Reasoning und agentischen Aufgaben. Mit 744B Parametern, 40B aktiven Parametern und einem 1M-Kontext Fenster kann es jetzt lokal mit Unsloth Dynamic GGUFs ausgeführt werden. GLM-5.2 ist das stärkste offene Modell bis heute und ist bei Artificial Analysis und vielen anderen Benchmarks auf Augenhöhe mit Claude 4.8 Opus, GPT-5.5 und Gemini 3.1 Pro.

Dynamic 1-Bit erreicht ~76.2% Top-1-Genauigkeit und ist dabei 86 % kleiner. Dynamic 2-Bit erreicht ~82% Genauigkeit und ist dabei 84 % kleiner. Das bedeutet nicht, dass das Modell 82 % schlechter ist, nur weil es 84 % kleiner ist – es ist vielmehr nur etwa ~18 % weniger genau als das vollständige 1,5 TB Modell. Danke an Z.ai für den Day-Zero-Zugang für Unsloth. GLM-5.2-GGUF

GLM-5.2-Tutorials ausführenQuantisierungsergebnisse

⚙️ Nutzungsleitfaden

Die dynamische 2-Bit-Quant UD-IQ2_M verwendet 239 GB Speicherplatz – das passt direkt auf einen Mac mit 256 GB Unified Memory und funktioniert gut auf einem 1x24GB-GPU und 256 GB RAM mit MoE-Offloading.

Die 1-Bit Quant passt auf 223 GB RAM und 8-Bit erfordert 810 GB RAM. Siehe die 1-Bit-GGUF rechts in Aktion:

Tabelle: Hardwareanforderungen für die Inferenz (Einheiten = Gesamtspeicher: RAM + VRAM oder Unified Memory)

1-Bit
2-Bit
3-Bit
4-Bit
5-Bit
8-Bit

223 GB

245 GB

290–360 GB

372–475 GB

570 GB

810 GB

Empfohlene Einstellungen

GLM-5.2 hat 3 Denkmodi. Nicht-Denken und Denken in zwei Modi: High + Max. Verwende Max Thinking für komplizierte Aufgaben. In Unsloth Studio kannst du High + Max Thinking und Non-Thinking ganz einfach über eine UI umschalten.

Verwende diese Einstellungen für die meisten Anwendungsfälle:

Standardeinstellungen (die meisten Aufgaben)
SWE-Bench Pro

Temperatur = 1.0

Temperatur = 1.0

top_p = 0.95

top_p = 1.0

  • Maximales Kontextfenster: 1,048,576.

Denken deaktivieren, Reasoning-Aufwand ändern

GLM 5.2 verwendet standardmäßig Reasoning. Es unterstützt auch Reasoning-Aufwände, bei denen reasoning_effort kann "high", "max" oder deaktiviert sein.

Um Thinking zu deaktivieren, verwende --chat-template-kwargs '{"enable_thinking":false}'. Wenn du auf Windows PowerShell bist, verwende: --chat-template-kwargs "{\"enable_thinking\":false}"

Du kannst jetzt auch --reasoning an oder --reasoning aus in llama.cpp verwenden!

Für die Anpassung des Reasoning-Aufwands oder um Reasoning zu deaktivieren, verwende die folgenden Beispiele:

📈 Quantisierungsanalyse

Wir haben auch KLD- (KL-Divergenz-) Benchmarks ausgeführt, um die Genauigkeit unserer Quantisierungen von GLM-5.2-GGUF zu bewerten. Dynamic 4-Bit UD-Q4_K_XL und Dynamic 5-Bit UD-Q5_K_XL sind größtenteils verlustfrei, und kleinere Quants funktionieren ebenfalls hervorragend, indem wichtige Schichten dynamisch in höherer Präzision belassen werden und unwichtige in niedrigen Bits.

Bei reiner Top-1%-Genauigkeit erreicht dynamische 1-Bit etwa 76,2 % Genauigkeit und ist dabei 86 % kleiner! Dynamic 2-Bit erreicht etwa 82 % Genauigkeit und ist dabei 84 % kleiner. Das zeigt, dass das dynamische Quantisieren einiger Schichten auf höhere Präzision das Modell nicht 86 % schlechter macht, obwohl es 86 % kleiner ist – sondern nur 24 % weniger leistungsfähig als das vollständige 1,5-TB-Modell.

Aber was beschreibt "76 % Genauigkeit" eigentlich?

76 % Top-1 % bedeutet NICHT, dass aus "Die Hauptstadt von Frankreich ist" eine Auswahl von 76 % Paris und 24 % Sydney wird. Das Modell ist dadurch NICHT um 24 % "dümmer". Dafür ist Paris immer 100 %, und Sydney ist 0 %. Die Zahl 76 % enthält Füllwörter und Stoppwörter über den gesamten Korpus hinweg, zum Beispiel bei der Frage:

"Schreibe einen Roman" führt aufgrund des LLM-Samplings zu:

  • Ich werde jetzt einen Roman schreiben...

  • Der Roman steht unten:

  • Welches Genre soll es sein?

Jedes Beispiel ist korrekt, aber die Verteilung [I, The, What] ändert sich – die Baseline verwendet möglicherweise 100 % der Zeit [I], aber jetzt ist [I] 76 % und [The] 24 %.

Es bedeutet NICHT dass du 24 % der Zeit falsche Ausgaben wie Kauderwelsch oder falsche Ausgaben erhältst.

99,9 % KLD ist im Allgemeinen ebenfalls gut – ab 4 Bit gibt es jedoch einen größeren Sprung, daher ist für massive Aufgaben außerhalb der Verteilung dynamisches 4-Bit wahrscheinlich am besten.

Top-1 % ist eine "erzwungene" binomiale Verteilung der KLD selbst. KLD ist die "Distanz" zwischen den Wahrscheinlichkeiten der Baseline (BF16 oder Q8_0) und der quantisierten Version. Das Ziel der Quantisierung ist es, die folgende Zielfunktion zu minimieren:

minimize 1nDKL[ f(q(W))  f(W)) ]\text{minimize } \frac{1}{n} \sum{\text{D}_{\text{KL}}[\text{ }f(q(W))\text{ }||\text{ } f(W))\text{ }]}

Wobei f der Forward-Pfad des Sprachmodells ist und q die Quantisierungsoperation ist und W die Parameter oder Gewichte des Modells sind. Das Ziel ist es, die "Distanz" zwischen den Logits-Ausgaben der Baseline f(W) und der Ausgabe des quantisierten Modells so klein wie möglich zu machen. Wenn du 0 KLD erreichen kannst, hast du das Modell perfekt rekonstruiert!

Wir verwenden mittlere KLD wie unten, da es teuer ist, KLD über den gesamten Trainingskorpus zu berechnen (zum Beispiel 15T Tokens) – stattdessen verwenden wir Sampling, und erhalten eine kleine repräsentative Teilmenge des Trainingskorpus / für die Downstream-Aufgabe und optimieren darauf. Die mittlere KLD folgt im Allgemeinen einem monotonen Trend in Bezug auf den Speicherplatz und zeigt, dass GLM 5.2 selbst bei 1 Bit gut funktioniert!

Top-1 %-Genauigkeit ist einfach ein greedy Decoding-Operator, bei dem wir annehmen, dass das Argmax-Element gewählt wird, und bei 1 Bit und 76 % wird dasselbe gewählt wie das Argmax der Baseline.

GLM-5.2-Tutorials ausführen:

Du kannst GLM-5.2 jetzt in llama.cpp und Unsloth Studioausführen. Wir werden für die besten Ergebnisse in Bezug auf Zugänglichkeit und Genauigkeit die 239-GB UD-IQ2_M Quant verwenden.

🦥 GLM-5.2 in Unsloth Studio ausführen

GLM-5.2 kann in Unsloth Studioeiner Open-Source-Web-UI für lokale KI ausgeführt werden. Unsloth Studio lagert automatisch in den RAM aus und erkennt Multi-GPU-Setups. Mit Unsloth Studio kannst du Modelle lokal auf MacOS, Windows , Linux und:

2-Bit-GLM-5.2-GGUF-Ausgabe
1

Unsloth installieren und starten

Zur Installation führe in deinem Terminal aus:

MacOS, Linux, WSL:

Windows PowerShell:

Unsloth starten

MacOS, Linux, WSL und Windows:

Dann öffne http://127.0.0.1:8888 (oder deine spezifische URL) in deinem Browser.

Unsloth sicher mit HTTPS und Cloudflare starten

NEU! Unsloth bietet jetzt eine sichere Möglichkeit, Studio per HTTPS über einen kostenlosen Cloudflare-Tunnel zu starten. Verwende das Folgende (funktioniert unter Windows, Mac und Linux):

2

GLM-5.2 suchen und herunterladen

Unsloth Studio lagert automatisch in den RAM aus und erkennt Multi-GPU-Setups. Beim ersten Start musst du ein Passwort erstellen, um dein Konto zu sichern, und dich später erneut anmelden.

Dann gehe zum Studio-Chat Tab und suche nach GLM-5.2 in der Suchleiste und lade dein gewünschtes Modell und deine gewünschte Quantisierung herunter. Stelle sicher, dass du genug Rechenleistung hast, um das Modell auszuführen.

3

GLM-5.2 ausführen

Die Inferenzparameter sollten bei Verwendung von Unsloth Studio automatisch gesetzt werden, du kannst sie jedoch weiterhin manuell ändern. Du kannst auch die Kontextlänge, die Chat-Vorlage und andere Einstellungen bearbeiten.

Für weitere Informationen kannst du unseren Inferenzleitfaden für Unsloth Studio.

Beispiel für ein mit Canvas laufendes 1-Bit-GLM-5.2

🦙 GLM-5.2 in llama.cpp ausführen

Für diesen Leitfaden werden wir die UD-IQ2_M Quantisierung ausführen, die mindestens 245 GB RAM erfordert. Du kannst den Quantisierungstyp gerne ändern. Für diese Tutorials werden wir llama.cpp für schnelle lokale Inferenz verwenden. GGUF: GLM-5.2-GGUF

1

Beschaffe die neueste llama.cpp auf GitHub hier. Du kannst auch die Build-Anweisungen unten befolgen. Ändere -DGGML_CUDA=ON zu -DGGML_CUDA=OFF wenn du keine GPU hast oder nur CPU-Inferenz möchtest. Für Apple Mac / Metal-Geräte, setze -DGGML_CUDA=OFF und fahre dann wie gewohnt fort - Metal-Unterstützung ist standardmäßig aktiviert.

2

Du kannst jetzt llama.cpp direkt zum Laden und Herunterladen von Modellen verwenden, genau wie ollama run. Wähle zuerst den gewünschten Quantisierungstyp wie UD-IQ2_M. Verwende auch export LLAMA_CACHE="unsloth/GLM-5.2-GGUF" um llama.cpp zu erzwingen, dass an einem bestimmten Ort gespeichert wird. Beachte, dass dieser Downloadprozess sehr langsam sein kann, daher ist es wahrscheinlich am besten, den manuellen Downloadprozess im nächsten Abschnitt zu verwenden.

3

Wenn du das Modell manuell herunterladen möchtest (viel schneller!), können wir das Modell über den folgenden Code herunterladen (nach der Installation von pip install huggingface_hub). Wenn Downloads hängen bleiben, siehe: Hugging Face Hub, XET-Debugging

Wenn du das dynamische 1-Bit verwenden möchtest, dann tue Folgendes:

4

Dann führe das Modell im Konversationsmodus aus. Verwende unsloth/GLM-5.2-GGUF/UD-IQ2_M/GLM-5.2-UD-IQ2_M-00001-of-00006.gguf für 2-Bit oder unsloth/GLM-5.2-GGUF/UD-IQ1_S/GLM-5.2-UD-IQ1_S-00001-of-00006.gguf für 1-Bit.

5

Wenn du llama-cli startest, wirst du Folgendes sehen:

Dann, nachdem du es aufgefordert hast, ein kurzes Flappy-Bird-Spiel zu erstellen, erhalten wir:

Mit dem vollständigen Gespräch und Spiel unten:

Das vollständige Spiel in HTML
Gesamte Unterhaltung

Und das Spiel hat Sound und funktioniert wunderbar! Zur Erinnerung: Das war eine 1-Bit-Quantisierung und sie hat gut funktioniert!

📐Langer Kontext mittels KV-Cache-Quantisierung

Um langen Kontext in llama.cpp zu nutzen, müssen wir KV-Cache-Quantisierung einsetzen, um den Speicherverbrauch zu reduzieren. Kürzlich hat llama.cpp höhere Genauigkeits-Tricks zur KV-Cache-Quantisierung hinzugefügt - siehe und andere PRs!

Derzeit werden diese KV-Cache-Datentypen unterstützt:

Standardmäßig f16 verwendet. Wenn du q4_0 verwendest, was etwa 4,5 Bits pro Gewicht entspricht, kannst du etwa 16 / 4,5 = 3,5x längere Kontextlängenerreichen! Wenn dein Modell also bisher 10K unterstützt hat, könnten 35K in Reichweite sein! q4_1 ist wahrscheinlich besser, da du außerdem einen Verschiebungsparameter erhältst, und es sind 5 Bits pro Gewicht – also 3,2x längere Kontexte.

Verwende es wie unten:

📊 Benchmarks

Weiter unten kannst du die GLM-5.2-Benchmarks in Tabellenform ansehen:

Benchmark
GLM-5.2
Claude Opus 4.8
GPT-5.5
Gemini 3.1 Pro
GLM-5.1
Qwen3.7-Max
MiniMax M3
DeepSeek-V4-Pro

Reasoning

HLE

40.5

49.8*

41.4*

45

31

41.4

37

37.7

HLE (mit Tools)

54.7

57.9*

52.2*

51.4*

52.3

53.5

-

48.2

CritPt

20.9

20.9

27.1

17.7

4.6

13.4

3.7

12.9

AIME 2026

99.2

95.7

98.3

98.2

95.3

97

-

94.6

HMMT Nov. 2025

94.4

96.5

96.5

94.8

94

95

84.4

94.4

HMMT Feb. 2026

92.5

96.7

96.7

87.3

82.6

97.1

84.4

95.2

IMOAnswerBench

91.0

83.5

-

81

83.8

90

-

89.8

GPQA-Diamond

91.2

93.6

93.6

94.3

86.2

90

93

90.1

Coding

SWE-bench Pro

62.1

69.2

58.6

54.2

58.4

60.6

59

55.4

NL2Repo

48.9

69.7

50.7

33.4

42.7

47.2

42.1

35.5

DeepSWE

46.2

58

70

10

18

18

20

8

ProgramBench

63.7

71.9

70.8

39.5

50.9

-

-

47.8

Terminal Bench 2.1 (Terminus-2)

81.0

85

84

74

63.5

75

65

64

Terminal Bench 2.1 (bestes gemeldetes Harness)

82.7

78.9

83.4

70.7

69

-

-

-

FrontierSWE (Dominanz)

74.4

75.1

72.6

39.6

30.5

-

-

29.0

PostTrainBench

34.3

37.2

28.4

21.6

20.1

-

-

-

SWE-Marathon

13.0

26.0

12.0

4.0

1.0

-

-

-

Agentisch

MCP-Atlas (Öffentliche Menge)

76.8

77.8

75.3

69.2

71.8

76.4

74.2

73.6

Tool-Decathlon

48.2

59.9

55.6

48.8

40.7

-

-

52.8

Zuletzt aktualisiert

War das hilfreich?