For the complete documentation index, see llms.txt. This page is also available as Markdown.

GLM-5.2 - comment l’exécuter localement

Exécutez le nouveau modèle GLM-5.2 de Z.ai sur du matériel local !

GLM-5.2 est le nouveau modèle ouvert de Z.ai, offrant des performances SOTA pour le codage à long horizon, le raisonnement et les tâches agentiques. Avec 744 milliards de paramètres, 40 milliards de paramètres actifs, et une fenêtre de contexte de 1M fenêtre, il peut désormais être exécuté localement avec Unsloth Dynamic les GGUF. GLM-5.2 est le modèle ouvert le plus puissant à ce jour, avec des performances équivalentes à Claude 4.8 Opus, GPT-5.5 et Gemini 3.1 Pro sur de nombreux benchmarks.

Le 1-bit dynamique atteint ~76.2% une précision top-1 tout en étant 86 % plus petit. Le 2-bit dynamique atteint ~82% une précision tout en étant 84 % plus petit. Cela signifie que le modèle n'est pas 82 % moins bon parce qu'il est 84 % plus petit - il n'est en réalité que ~18 % moins précis que le modèle complet de 1.5TB modèle. Merci à Z.ai d'avoir donné à Unsloth un accès dès le premier jour. GLM-5.2-GGUF

Tutoriels pour exécuter GLM-5.2Résultats de quantification

⚙️ Guide d'utilisation

La quantification dynamique 2-bit UD-IQ2_M utilise 239GB d'espace disque - cela peut directement tenir sur un Mac avec 256 Go de mémoire unifiée et fonctionne bien sur un GPU 1x24 Go et 256 Go de RAM avec déchargement MoE.

La 1 bit quantification tiendra sur 223 Go de RAM et le 8-bit nécessite 810 Go de RAM. Voyez le GGUF 1 bit en action à droite :

Tableau : exigences matérielles pour l'inférence (unités = mémoire totale : RAM + VRAM, ou mémoire unifiée)

1 bit
2 bits
3 bits
4 bits
5 bits
8 bits

223 Go

245 Go

290-360 Go

372-475 Go

570 Go

810 Go

Paramètres recommandés

GLM-5.2 dispose de 3 modes de pensée. Sans pensée et avec pensée en deux modes : Élevé + Max. Utilisez Max Thinking pour les tâches compliquées. Dans Unsloth Studio vous pouvez facilement basculer entre High + Max Thinking et sans pensée via une interface.

Utilisez ces paramètres pour la plupart des cas d'utilisation :

Paramètres par défaut (la plupart des tâches)
SWE-Bench Pro

température = 1.0

température = 1.0

top_p = 0.95

top_p = 1.0

  • Fenêtre de contexte maximale : 1,048,576.

Désactiver la pensée, modifier l'effort de raisonnement

GLM 5.2 utilise le raisonnement par défaut. Il prend aussi en charge des niveaux d'effort de raisonnement où reasoning_effort peut être « high », « max » ou désactivé.

Pour désactiver la pensée, utilisez --chat-template-kwargs '{"enable_thinking":false}'. Si vous êtes sur Windows Powershell, utilisez : --chat-template-kwargs "{\"enable_thinking\":false}"

Vous pouvez aussi utiliser --reasoning on ou --reasoning off dans llama.cpp également maintenant !

Pour personnaliser l'effort de raisonnement ou désactiver le raisonnement, utilisez les exemples ci-dessous :

📈 Analyse de quantification

Nous avons également exécuté des benchmarks KLD (divergence KL) pour évaluer la précision de nos quantifications de GLM-5.2-GGUF. Le 4-bit dynamique UD-Q4_K_XL et le 5-bit dynamique UD-Q5_K_XL sont en grande partie sans perte, et les quantifications plus petites fonctionnent aussi très bien en laissant dynamiquement les couches importantes en précision plus élevée, et les couches peu importantes en bits faibles.

Sur la précision top-1 % pure, le 1-bit dynamique atteint environ 76,2 % de précision tout en étant 86 % plus petit! Le 2-bit dynamique atteint environ 82 % de précision tout en étant 84 % plus petit. Cela montre que quantifier dynamiquement certaines couches avec une précision plus élevée ne rend pas le modèle 86 % pire tout en étant 86 % plus petit - mais seulement 24 % moins capable que le modèle complet de 1.5TB.

Mais que décrit réellement « 76 % de précision » ?

76 % top-1 % ne signifie PAS que « La capitale de la France est » se transforme en un choix de Paris à 76 % et de Sydney à 24 %. Le modèle n'est PAS « plus bête » de 24 %. Ici, Paris est toujours à 100 %, et Sydney à 0 %. Le chiffre de 76 % inclut les mots de remplissage et les mots vides sur l'ensemble du corpus, par exemple en demandant :

« Crée un roman » donnera, en raison de l'échantillonnage du LLM :

  • Je vais maintenant créer un roman...

  • Le roman est ci-dessous :

  • Quel genre souhaitez-vous qu'il soit ?

Chaque exemple est correct, mais c'est la distribution [I, The, What] qui change - le modèle de base pourrait utiliser [I] 100 % du temps, mais maintenant [I] est à 76 % et [The] à 24 %.

Cela PAS signifie que vous obtenez des sorties incorrectes comme du charabia ou des sorties incorrectes 24 % du temps.

Un KLD de 99,9 % est aussi généralement bon - il y a toutefois un gain plus important à partir du 4bit, donc pour les tâches massives hors distribution, le 4-bit dynamique est probablement le meilleur.

Top-1 % est une distribution binomiale « forcée » du KLD lui-même. Le KLD est la « distance » entre les probabilités de la version de base (BF16 ou Q8_0) et celles de la version quantifiée. L'objectif de la quantification est de minimiser l'objectif ci-dessous :

minimize 1nDKL[ f(q(W))  f(W)) ]\text{minimize } \frac{1}{n} \sum{\text{D}_{\text{KL}}[\text{ }f(q(W))\text{ }||\text{ } f(W))\text{ }]}

f est la propagation avant du modèle de langage et q est l'opération de quantification et W sont les paramètres ou les poids du modèle. L'objectif est de rendre la « distance » entre la sortie des logits de la version de base f(W) et la sortie du modèle quantifié aussi petite que possible. Si vous pouvez obtenir un KLD de 0, alors vous avez parfaitement reconstruit le modèle !

Nous utilisons le KLD moyen comme ci-dessous, car il est coûteux d'exécuter le KLD sur l'ensemble du corpus d'entraînement (15T de jetons, par exemple) - à la place, nous faisons un échantillonnage, et obtenons un petit sous-ensemble représentatif du corpus d'entraînement / pour la tâche en aval, puis l'optimisons. Le KLD moyen suit généralement une tendance monotone par rapport à l'espace disque, et montre que même en 1 bit GLM 5.2 fonctionne bien !

La précision top-1 % est simplement un opérateur de décodage glouton où l'on suppose que l'élément argmax sera choisi, et pour le 1 bit, à 76 %, il choisit le même que l'argmax de la version de base.

Exécuter les tutoriels GLM-5.2 :

Vous pouvez désormais exécuter GLM-5.2 dans llama.cpp et Unsloth Studio. Nous utiliserons la quantification de 239 Go UD-IQ2_M pour obtenir les meilleurs résultats en termes d'accessibilité et de précision.

🦥 Exécuter GLM-5.2 dans Unsloth Studio

GLM-5.2 peut s'exécuter dans Unsloth Studio, une interface web open source pour l'IA locale. Unsloth Studio décharge automatiquement en RAM et détecte les configurations multi-GPU. Avec Unsloth Studio, vous pouvez exécuter des modèles localement sur MacOS, Windows, Linux et :

Sortie GGUF de GLM-5.2 2 bits
1

Installer et lancer Unsloth

Pour l'installer, exécutez dans votre terminal :

MacOS, Linux, WSL :

Windows PowerShell :

Lancer Unsloth

MacOS, Linux, WSL et Windows :

Ensuite ouvrez http://127.0.0.1:8888 (ou votre URL spécifique) dans votre navigateur.

Lancer Unsloth en toute sécurité avec HTTPS et Cloudflare

NOUVEAU ! Unsloth propose désormais un moyen sécurisé de lancer Studio via HTTPS grâce à un tunnel Cloudflare gratuit. Utilisez ce qui suit (fonctionne sous Windows, Mac et Linux) :

2

Rechercher et télécharger GLM-5.2

Unsloth Studio décharge automatiquement en RAM et détecte les configurations multi-GPU. Lors du premier lancement, vous devrez créer un mot de passe pour sécuriser votre compte et vous reconnecter plus tard.

Puis allez dans l’onglet Unsloth Chat onglet et recherchez GLM-5.2 dans la barre de recherche et téléchargez le modèle et la quantification souhaités. Assurez-vous d'avoir suffisamment de calcul pour exécuter le modèle.

3

Exécuter GLM-5.2

Les paramètres d’inférence devraient être définis automatiquement lors de l’utilisation d’Unsloth Studio, mais vous pouvez toujours les modifier manuellement. Vous pouvez également modifier la longueur du contexte, le modèle de chat et d’autres paramètres.

Pour plus d’informations, vous pouvez consulter notre guide d’inférence Unsloth Studio.

Exemple de GLM-5.2 1 bit exécuté avec Canvas

🦙 Exécuter GLM-5.2 dans llama.cpp

Dans ce guide, nous utiliserons la UD-IQ2_M quantification, qui nécessitera au moins 245 Go de RAM. N'hésitez pas à changer le type de quantification. Pour ces tutoriels, nous utiliserons llama.cpp pour une inférence locale rapide. GGUF : GLM-5.2-GGUF

1

Obtenez le dernier llama.cpp sur GitHub ici. Vous pouvez également suivre les instructions de compilation ci-dessous. Modifiez -DGGML_CUDA=ON en -DGGML_CUDA=OFF si vous n’avez pas de GPU ou si vous voulez simplement une inférence CPU. Pour les appareils Apple Mac / Metal, définissez -DGGML_CUDA=OFF puis continuez normalement - la prise en charge de Metal est activée par défaut.

2

Vous pouvez désormais utiliser llama.cpp directement pour charger et télécharger des modèles, tout comme ollama run. D'abord, sélectionnez le type de quantification souhaité, comme UD-IQ2_M. Utilisez aussi export LLAMA_CACHE="unsloth/GLM-5.2-GGUF" pour forcer llama.cpp à enregistrer à un emplacement spécifique. Notez que ce processus de téléchargement peut être très lent, il est donc probablement préférable d'utiliser le processus de téléchargement manuel dans la section suivante.

3

Si vous souhaitez télécharger le modèle manuellement (beaucoup plus rapide !), nous pouvons télécharger le modèle via le code ci-dessous (après avoir installé pip install huggingface_hub). Si les téléchargements se bloquent, voir : Dépannage de Hugging Face Hub et XET

Si vous souhaitez utiliser le 1 bit dynamique, faites alors :

4

Ensuite, exécutez le modèle en mode conversation. Utilisez unsloth/GLM-5.2-GGUF/UD-IQ2_M/GLM-5.2-UD-IQ2_M-00001-of-00006.gguf pour le 2 bits ou unsloth/GLM-5.2-GGUF/UD-IQ1_S/GLM-5.2-UD-IQ1_S-00001-of-00006.gguf pour le 1 bit.

5

Lorsque vous lancez llama-cli, vous verrez :

Puis, après lui avoir demandé de créer un petit jeu Flappy Bird, nous obtenons :

Avec la conversation complète et le jeu ci-dessous :

Jeu complet en HTML
Conversation complète

Et le jeu a du son et fonctionne à merveille ! Rappel : c'était une quantification 1 bit et cela a bien fonctionné !

📐Long contexte via la quantification du cache KV

Pour exploiter un contexte long dans llama.cpp, nous devons utiliser la quantification du cache KV afin de réduire l'utilisation mémoire. Récemment, llama.cpp a ajouté des astuces de plus grande précision à la quantification du cache KV - voir et d'autres PR !

Actuellement, ces types de données de cache KV sont pris en charge :

Par défaut f16 est utilisé. Si vous utilisez q4_0 qui est d'environ 4,5 bits par poids, vous pouvez allonger d'environ 16 / 4,5 = des longueurs de contexte 3,5 fois plus longues ! Donc, si votre modèle prenait auparavant en charge 10K, 35K peut être à portée ! q4_1 est probablement meilleur puisque vous obtenez aussi un paramètre de décalage, et fait 5 bits par poids - donc des contextes 3,2 fois plus longs.

Utilisez-le comme ci-dessous :

📊 Benchmarks

Vous pouvez voir plus bas les benchmarks GLM-5.2 sous forme de tableau :

Benchmark
GLM-5.2
Claude Opus 4.8
GPT-5.5
Gemini 3.1 Pro
GLM-5.1
Qwen3.7-Max
MiniMax M3
DeepSeek-V4-Pro

Raisonnement

HLE

40.5

49.8*

41.4*

45

31

41.4

37

37.7

HLE (avec outils)

54.7

57.9*

52.2*

51.4*

52.3

53.5

-

48.2

CritPt

20.9

20.9

27.1

17.7

4.6

13.4

3.7

12.9

AIME 2026

99.2

95.7

98.3

98.2

95.3

97

-

94.6

HMMT Nov. 2025

94.4

96.5

96.5

94.8

94

95

84.4

94.4

HMMT Feb. 2026

92.5

96.7

96.7

87.3

82.6

97.1

84.4

95.2

IMOAnswerBench

91.0

83.5

-

81

83.8

90

-

89.8

GPQA-Diamond

91.2

93.6

93.6

94.3

86.2

90

93

90.1

Codage

SWE-bench Pro

62.1

69.2

58.6

54.2

58.4

60.6

59

55.4

NL2Repo

48.9

69.7

50.7

33.4

42.7

47.2

42.1

35.5

DeepSWE

46.2

58

70

10

18

18

20

8

ProgramBench

63.7

71.9

70.8

39.5

50.9

-

-

47.8

Terminal Bench 2.1 (Terminus-2)

81.0

85

84

74

63.5

75

65

64

Terminal Bench 2.1 (meilleur banc d'essai rapporté)

82.7

78.9

83.4

70.7

69

-

-

-

FrontierSWE (Dominance)

74.4

75.1

72.6

39.6

30.5

-

-

29.0

PostTrainBench

34.3

37.2

28.4

21.6

20.1

-

-

-

SWE-Marathon

13.0

26.0

12.0

4.0

1.0

-

-

-

Agentique

MCP-Atlas (ensemble public)

76.8

77.8

75.3

69.2

71.8

76.4

74.2

73.6

Décathlon d'outils

48.2

59.9

55.6

48.8

40.7

-

-

52.8

Mis à jour

Ce contenu vous a-t-il été utile ?