GLM-5.2 - comment l’exécuter localement
Exécutez le nouveau modèle GLM-5.2 de Z.ai sur du matériel local !
GLM-5.2 est le nouveau modèle ouvert de Z.ai, offrant des performances SOTA pour le codage à long horizon, le raisonnement et les tâches agentiques. Avec 744 milliards de paramètres, 40 milliards de paramètres actifs, et une fenêtre de contexte de 1M fenêtre, il peut désormais être exécuté localement avec Unsloth Dynamic les GGUF. GLM-5.2 est le modèle ouvert le plus puissant à ce jour, avec des performances équivalentes à Claude 4.8 Opus, GPT-5.5 et Gemini 3.1 Pro sur de nombreux benchmarks.
Le 1-bit dynamique atteint ~76.2% une précision top-1 tout en étant 86 % plus petit. Le 2-bit dynamique atteint ~82% une précision tout en étant 84 % plus petit. Cela signifie que le modèle n'est pas 82 % moins bon parce qu'il est 84 % plus petit - il n'est en réalité que ~18 % moins précis que le modèle complet de 1.5TB modèle. Merci à Z.ai d'avoir donné à Unsloth un accès dès le premier jour. GLM-5.2-GGUF
Tutoriels pour exécuter GLM-5.2Résultats de quantification
⚙️ Guide d'utilisation
La quantification dynamique 2-bit UD-IQ2_M utilise 239GB d'espace disque - cela peut directement tenir sur un Mac avec 256 Go de mémoire unifiée et fonctionne bien sur un GPU 1x24 Go et 256 Go de RAM avec déchargement MoE.
La 1 bit quantification tiendra sur 223 Go de RAM et le 8-bit nécessite 810 Go de RAM. Voyez le GGUF 1 bit en action à droite :

Tableau : exigences matérielles pour l'inférence (unités = mémoire totale : RAM + VRAM, ou mémoire unifiée)
223 Go
245 Go
290-360 Go
372-475 Go
570 Go
810 Go
Pour de meilleures performances, assurez-vous que votre mémoire totale disponible, y compris la VRAM et la RAM système, dépasse largement la taille du fichier du modèle quantifié.
Paramètres recommandés
GLM-5.2 dispose de 3 modes de pensée. Sans pensée et avec pensée en deux modes : Élevé + Max. Utilisez Max Thinking pour les tâches compliquées. Dans Unsloth Studio vous pouvez facilement basculer entre High + Max Thinking et sans pensée via une interface.
Utilisez ces paramètres pour la plupart des cas d'utilisation :
température = 1.0
température = 1.0
top_p = 0.95
top_p = 1.0
Fenêtre de contexte maximale :
1,048,576.
Désactiver la pensée, modifier l'effort de raisonnement
GLM 5.2 utilise le raisonnement par défaut. Il prend aussi en charge des niveaux d'effort de raisonnement où reasoning_effort peut être « high », « max » ou désactivé.
Pour désactiver la pensée, utilisez --chat-template-kwargs '{"enable_thinking":false}'. Si vous êtes sur Windows Powershell, utilisez : --chat-template-kwargs "{\"enable_thinking\":false}"
Vous pouvez aussi utiliser --reasoning on ou --reasoning off dans llama.cpp également maintenant !
Pour personnaliser l'effort de raisonnement ou désactiver le raisonnement, utilisez les exemples ci-dessous :
📈 Analyse de quantification
Nous avons également exécuté des benchmarks KLD (divergence KL) pour évaluer la précision de nos quantifications de GLM-5.2-GGUF. Le 4-bit dynamique UD-Q4_K_XL et le 5-bit dynamique UD-Q5_K_XL sont en grande partie sans perte, et les quantifications plus petites fonctionnent aussi très bien en laissant dynamiquement les couches importantes en précision plus élevée, et les couches peu importantes en bits faibles.
Sur la précision top-1 % pure, le 1-bit dynamique atteint environ 76,2 % de précision tout en étant 86 % plus petit! Le 2-bit dynamique atteint environ 82 % de précision tout en étant 84 % plus petit. Cela montre que quantifier dynamiquement certaines couches avec une précision plus élevée ne rend pas le modèle 86 % pire tout en étant 86 % plus petit - mais seulement 24 % moins capable que le modèle complet de 1.5TB.
Mais que décrit réellement « 76 % de précision » ?
76 % top-1 % ne signifie PAS que « La capitale de la France est » se transforme en un choix de Paris à 76 % et de Sydney à 24 %. Le modèle n'est PAS « plus bête » de 24 %. Ici, Paris est toujours à 100 %, et Sydney à 0 %. Le chiffre de 76 % inclut les mots de remplissage et les mots vides sur l'ensemble du corpus, par exemple en demandant :
« Crée un roman » donnera, en raison de l'échantillonnage du LLM :
Je vais maintenant créer un roman...
Le roman est ci-dessous :
Quel genre souhaitez-vous qu'il soit ?
Chaque exemple est correct, mais c'est la distribution [I, The, What] qui change - le modèle de base pourrait utiliser [I] 100 % du temps, mais maintenant [I] est à 76 % et [The] à 24 %.
Cela PAS signifie que vous obtenez des sorties incorrectes comme du charabia ou des sorties incorrectes 24 % du temps.

Un KLD de 99,9 % est aussi généralement bon - il y a toutefois un gain plus important à partir du 4bit, donc pour les tâches massives hors distribution, le 4-bit dynamique est probablement le meilleur.
Top-1 % est une distribution binomiale « forcée » du KLD lui-même. Le KLD est la « distance » entre les probabilités de la version de base (BF16 ou Q8_0) et celles de la version quantifiée. L'objectif de la quantification est de minimiser l'objectif ci-dessous :
Où f est la propagation avant du modèle de langage et q est l'opération de quantification et W sont les paramètres ou les poids du modèle. L'objectif est de rendre la « distance » entre la sortie des logits de la version de base f(W) et la sortie du modèle quantifié aussi petite que possible. Si vous pouvez obtenir un KLD de 0, alors vous avez parfaitement reconstruit le modèle !

Nous utilisons le KLD moyen comme ci-dessous, car il est coûteux d'exécuter le KLD sur l'ensemble du corpus d'entraînement (15T de jetons, par exemple) - à la place, nous faisons un échantillonnage, et obtenons un petit sous-ensemble représentatif du corpus d'entraînement / pour la tâche en aval, puis l'optimisons. Le KLD moyen suit généralement une tendance monotone par rapport à l'espace disque, et montre que même en 1 bit GLM 5.2 fonctionne bien !
La précision top-1 % est simplement un opérateur de décodage glouton où l'on suppose que l'élément argmax sera choisi, et pour le 1 bit, à 76 %, il choisit le même que l'argmax de la version de base.

Exécuter les tutoriels GLM-5.2 :
Vous pouvez désormais exécuter GLM-5.2 dans llama.cpp et Unsloth Studio. Nous utiliserons la quantification de 239 Go UD-IQ2_M pour obtenir les meilleurs résultats en termes d'accessibilité et de précision.
🦥 Exécuter GLM-5.2 dans Unsloth Studio
GLM-5.2 peut s'exécuter dans Unsloth Studio, une interface web open source pour l'IA locale. Unsloth Studio décharge automatiquement en RAM et détecte les configurations multi-GPU. Avec Unsloth Studio, vous pouvez exécuter des modèles localement sur MacOS, Windows, Linux et :
Rechercher, télécharger, exécuter des GGUF et des modèles safetensor
Auto-réparation appel d’outils + recherche web
Exécution de code (Python, Bash)
Ajustement automatique des paramètres d’inférence (temp, top-p, etc.)
Inférence CPU + GPU rapide via llama.cpp
Entraîner des LLM 2 fois plus vite avec 70 % de VRAM en moins

Installer et lancer Unsloth
Pour l'installer, exécutez dans votre terminal :
MacOS, Linux, WSL :
Windows PowerShell :
Lancer Unsloth
MacOS, Linux, WSL et Windows :
Ensuite ouvrez http://127.0.0.1:8888 (ou votre URL spécifique) dans votre navigateur.
Lancer Unsloth en toute sécurité avec HTTPS et Cloudflare
NOUVEAU ! Unsloth propose désormais un moyen sécurisé de lancer Studio via HTTPS grâce à un tunnel Cloudflare gratuit. Utilisez ce qui suit (fonctionne sous Windows, Mac et Linux) :
Rechercher et télécharger GLM-5.2
Unsloth Studio décharge automatiquement en RAM et détecte les configurations multi-GPU. Lors du premier lancement, vous devrez créer un mot de passe pour sécuriser votre compte et vous reconnecter plus tard.
Puis allez dans l’onglet Unsloth Chat onglet et recherchez GLM-5.2 dans la barre de recherche et téléchargez le modèle et la quantification souhaités. Assurez-vous d'avoir suffisamment de calcul pour exécuter le modèle.

Exécuter GLM-5.2
Les paramètres d’inférence devraient être définis automatiquement lors de l’utilisation d’Unsloth Studio, mais vous pouvez toujours les modifier manuellement. Vous pouvez également modifier la longueur du contexte, le modèle de chat et d’autres paramètres.
Pour plus d’informations, vous pouvez consulter notre guide d’inférence Unsloth Studio.

🦙 Exécuter GLM-5.2 dans llama.cpp
Dans ce guide, nous utiliserons la UD-IQ2_M quantification, qui nécessitera au moins 245 Go de RAM. N'hésitez pas à changer le type de quantification. Pour ces tutoriels, nous utiliserons llama.cpp pour une inférence locale rapide. GGUF : GLM-5.2-GGUF
Obtenez le dernier llama.cpp sur GitHub ici. Vous pouvez également suivre les instructions de compilation ci-dessous. Modifiez -DGGML_CUDA=ON en -DGGML_CUDA=OFF si vous n’avez pas de GPU ou si vous voulez simplement une inférence CPU. Pour les appareils Apple Mac / Metal, définissez -DGGML_CUDA=OFF puis continuez normalement - la prise en charge de Metal est activée par défaut.
Vous pouvez désormais utiliser llama.cpp directement pour charger et télécharger des modèles, tout comme ollama run. D'abord, sélectionnez le type de quantification souhaité, comme UD-IQ2_M. Utilisez aussi export LLAMA_CACHE="unsloth/GLM-5.2-GGUF" pour forcer llama.cpp à enregistrer à un emplacement spécifique. Notez que ce processus de téléchargement peut être très lent, il est donc probablement préférable d'utiliser le processus de téléchargement manuel dans la section suivante.
Si vous souhaitez télécharger le modèle manuellement (beaucoup plus rapide !), nous pouvons télécharger le modèle via le code ci-dessous (après avoir installé pip install huggingface_hub). Si les téléchargements se bloquent, voir : Dépannage de Hugging Face Hub et XET
Si vous souhaitez utiliser le 1 bit dynamique, faites alors :
Ensuite, exécutez le modèle en mode conversation. Utilisez unsloth/GLM-5.2-GGUF/UD-IQ2_M/GLM-5.2-UD-IQ2_M-00001-of-00006.gguf pour le 2 bits ou unsloth/GLM-5.2-GGUF/UD-IQ1_S/GLM-5.2-UD-IQ1_S-00001-of-00006.gguf pour le 1 bit.
Lorsque vous lancez llama-cli, vous verrez :

Puis, après lui avoir demandé de créer un petit jeu Flappy Bird, nous obtenons :

Avec la conversation complète et le jeu ci-dessous :
Et le jeu a du son et fonctionne à merveille ! Rappel : c'était une quantification 1 bit et cela a bien fonctionné !

📐Long contexte via la quantification du cache KV
Pour exploiter un contexte long dans llama.cpp, nous devons utiliser la quantification du cache KV afin de réduire l'utilisation mémoire. Récemment, llama.cpp a ajouté des astuces de plus grande précision à la quantification du cache KV - voir et d'autres PR !
Actuellement, ces types de données de cache KV sont pris en charge :
Par défaut f16 est utilisé. Si vous utilisez q4_0 qui est d'environ 4,5 bits par poids, vous pouvez allonger d'environ 16 / 4,5 = des longueurs de contexte 3,5 fois plus longues ! Donc, si votre modèle prenait auparavant en charge 10K, 35K peut être à portée ! q4_1 est probablement meilleur puisque vous obtenez aussi un paramètre de décalage, et fait 5 bits par poids - donc des contextes 3,2 fois plus longs.
Utilisez-le comme ci-dessous :
📊 Benchmarks
Vous pouvez voir plus bas les benchmarks GLM-5.2 sous forme de tableau :


Raisonnement
HLE
40.5
49.8*
41.4*
45
31
41.4
37
37.7
HLE (avec outils)
54.7
57.9*
52.2*
51.4*
52.3
53.5
-
48.2
CritPt
20.9
20.9
27.1
17.7
4.6
13.4
3.7
12.9
AIME 2026
99.2
95.7
98.3
98.2
95.3
97
-
94.6
HMMT Nov. 2025
94.4
96.5
96.5
94.8
94
95
84.4
94.4
HMMT Feb. 2026
92.5
96.7
96.7
87.3
82.6
97.1
84.4
95.2
IMOAnswerBench
91.0
83.5
-
81
83.8
90
-
89.8
GPQA-Diamond
91.2
93.6
93.6
94.3
86.2
90
93
90.1
Codage
SWE-bench Pro
62.1
69.2
58.6
54.2
58.4
60.6
59
55.4
NL2Repo
48.9
69.7
50.7
33.4
42.7
47.2
42.1
35.5
DeepSWE
46.2
58
70
10
18
18
20
8
ProgramBench
63.7
71.9
70.8
39.5
50.9
-
-
47.8
Terminal Bench 2.1 (Terminus-2)
81.0
85
84
74
63.5
75
65
64
Terminal Bench 2.1 (meilleur banc d'essai rapporté)
82.7
78.9
83.4
70.7
69
-
-
-
FrontierSWE (Dominance)
74.4
75.1
72.6
39.6
30.5
-
-
29.0
PostTrainBench
34.3
37.2
28.4
21.6
20.1
-
-
-
SWE-Marathon
13.0
26.0
12.0
4.0
1.0
-
-
-
Agentique
MCP-Atlas (ensemble public)
76.8
77.8
75.3
69.2
71.8
76.4
74.2
73.6
Décathlon d'outils
48.2
59.9
55.6
48.8
40.7
-
-
52.8
Mis à jour
Ce contenu vous a-t-il été utile ?

