GLM-4.6 : guide d'exécution locale

Un guide sur la façon d'exécuter les modèles Z.ai GLM-4.6 et GLM-4.6V-Flash sur votre propre appareil local !

GLM-4.6 et GLM-4.6V-Flash sont les derniers modèles de raisonnement de Z.ai, atteignant des performances SOTA sur les benchmarks de codage et d’agents tout en offrant des conversations améliorées. GLM-4.6V-Flash le plus petit modèle de 9B est sorti en décembre 2025 et vous pouvez aussi l’exécuter dès maintenant.

Le modèle complet de 355 milliards de paramètres nécessite 400 Go d’espace disque, tandis que le GGUF dynamique 2 bits d’Unsloth réduit la taille à 135 Go (-75%). GLM-4.6-GGUF

Pour de meilleures performances, assurez-vous que votre mémoire totale disponible (VRAM + RAM système) dépasse la taille du fichier du modèle quantifié que vous téléchargez. Si ce n’est pas le cas, llama.cpp peut toujours fonctionner via le déchargement SSD/HDD, mais l’inférence sera plus lente.

Tous les téléchargements utilisent Unsloth Dynamic 2.0 pour des performances SOTA en MMLU 5-shot et Aider, ce qui signifie que vous pouvez exécuter et affiner des LLM GLM quantifiés avec une perte d’exactitude minimale.

Navigation des tutoriels :

Exécuter GLM-4.6V-Flash Exécuter GLM-4.6

🐛Modèle de chat Unsloth et corrections de bugs

L’une des corrections importantes que nous avons apportées concerne un problème de prompting des GGUF, où le deuxième prompt ne fonctionnait pas. Nous avons corrigé ce problème, cependant, il persiste toujours dans les GGUF sans nos correctifs. Par exemple, lors de l’utilisation d’un GGUF GLM-4.6 non Unsloth, la première conversation fonctionne bien, mais la deuxième casse.

Nous avons résolu cela dans notre modèle de chat, donc lorsque vous utilisez notre version, les conversations au-delà de la deuxième (troisième, quatrième, etc.) fonctionnent sans aucune erreur. Il reste encore quelques problèmes avec l’appel d’outils, que nous n’avons pas encore entièrement étudiés en raison de limites de bande passante. Nous avons déjà informé l’équipe GLM de ces problèmes restants.

🔎Particularités et correctifs de GLM 4.6V Flash

GLM-4.6V-Flash peut raisonner et produire des sorties en chinois. Ce n’est pas propre à nos quantifications, mais une particularité du modèle. Utilisez un prompt système « Réponds en anglais et raisonne en anglais » pour forcer le raisonnement et les sorties en anglais !

Nous avons testé les quantifications BF16 et Q8_0 d’autres fournisseurs, et toutes semblent raisonner en chinois. Par exemple, 2 quantifications distinctes sur la graine 3407 et avec le même prompt « Crée un jeu Flappy Bird en Python » montrent un raisonnement en chinois :

En utilisant un prompt système « Raisonne en anglais » via --system-prompt "Respond in English" dans llama.cpp, c’est-à-dire comme ci-dessous :

./llama.cpp/llama-cli -hf unsloth/GLM-4.6V-Flash-GGUF:BF16 \
    --jinja --temp 0.8 --top-p 0.6 --top-k 2 --repeat-penalty 1.1 --min-p 0.0 --seed 3407 \
    --prompt "Create a Flappy Bird game in Python" --system-prompt "Respond in English"

Nous obtenons un raisonnement en chinois, mais des sorties en anglais. Nous posons aussi une question de suivi « What is 1+1 » et obtenons uniquement de l’anglais :

Et enfin, en utilisant un prompt système « Réponds en anglais et raisonne en anglais » via --system-prompt "Respond in English and reason in English" dans llama.cpp, c’est-à-dire comme ci-dessous :

./llama.cpp/llama-cli -hf unsloth/GLM-4.6V-Flash-GGUF:BF16 \
    --jinja --temp 0.8 --top-p 0.6 --top-k 2 --repeat-penalty 1.1 --min-p 0.0 --seed 3407 \
    --prompt "Create a Flappy Bird game in Python" \
    --system-prompt "Respond in English and reason in English"

Nous obtenons un raisonnement en anglais et des sorties en anglais ! Nous posons aussi une question de suivi « What is 1+1 » et obtenons uniquement de l’anglais :

⚙️ Guide d’utilisation

La quantification dynamique 2 bits UD-Q2_K_XL utilise 135 Go d’espace disque - cela fonctionne bien sur une carte 1x24 Go et 128 Go de RAM avec déchargement MoE. Le GGUF UD-TQ1 1 bit aussi fonctionne nativement dans Ollama!

Vous devez utiliser --jinja pour les quantifications llama.cpp - cela utilise nos modèles de chat corrigés et active le bon modèle ! Vous pourriez obtenir des résultats incorrects si vous n’utilisez pas --jinja

Les quantifications 4 bits tiendront sur un GPU 1x 40 Go (avec les couches MoE déchargées vers la RAM). Attendez-vous à environ 5 jetons/s avec cette configuration si vous disposez aussi de 165 Go de RAM supplémentaires. Il est recommandé d’avoir au moins 205 Go de RAM pour exécuter ce 4 bits. Pour des performances optimales, vous aurez besoin d’au moins 205 Go de mémoire unifiée ou 205 Go de RAM+VRAM combinées pour atteindre 5+ jetons/s. Pour apprendre à augmenter la vitesse de génération et à gérer des contextes plus longs, lisez ici.

Bien que ce ne soit pas obligatoire, pour de meilleures performances, faites en sorte que votre VRAM + RAM combinées soient égales à la taille de la quantification que vous téléchargez. Sinon, le déchargement vers le disque dur / SSD fonctionnera avec llama.cpp, mais l’inférence sera plus lente.

Paramètres recommandés

Selon Z.ai, il existe différents paramètres pour l’inférence de GLM-4.6V-Flash et GLM-4.6 :

GLM-4.6V-Flash

GLM-4.6

température = 0,8

température = 1,0

top_p = 0,6 (recommandé)

top_p = 0,95 (recommandé pour le codage)

top_k = 2 (recommandé)

top_k = 40 (recommandé pour le codage)

longueur de contexte de 128K ou moins

longueur de contexte de 200K ou moins

repeat_penalty = 1,1

max_generate_tokens = 16 384

Utilisez --jinja pour les variantes llama.cpp - nous avons aussi corrigé certains problèmes de modèle de chat !

Exécuter les tutoriels GLM-4.6 :

Consultez nos guides étape par étape pour exécuter GLM-4.6V-Flash et les grands GLM-4.6 modèles.

GLM-4.6V-Flash

NOUVEAU au 16 déc. 2025 : GLM-4.6-V est désormais mis à jour avec la prise en charge de la vision !

✨ Exécuter dans llama.cpp

Obtenez la dernière version llama.cpp sur GitHub. Vous pouvez aussi utiliser les instructions de compilation ci-dessous. Modifiez -DGGML_CUDA=ON en -DGGML_CUDA=OFF si vous n’avez pas de GPU ou si vous voulez simplement une inférence CPU. Pour les appareils Apple Mac / Metal, définissez -DGGML_CUDA=OFF puis continuez comme d’habitude - la prise en charge de Metal est activée par défaut.

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

Si vous souhaitez utiliser llama.cpp directement pour charger les modèles, vous pouvez faire ce qui suit : (:Q8_K_XL) est le type de quantification. Vous pouvez aussi télécharger via Hugging Face (point 3). C’est similaire à ollama run . Utilisez export LLAMA_CACHE="folder" pour forcer llama.cpp pour enregistrer dans un emplacement spécifique. N’oubliez pas que le modèle a une longueur de contexte maximale de seulement 128K.

export LLAMA_CACHE="unsloth/GLM-4.6V-Flash-GGUF"
./llama.cpp/llama-cli \
    -hf unsloth/GLM-4.6V-Flash-GGUF:UD-Q8_K_XL \
    --n-gpu-layers 99 \
    --jinja \
    --ctx-size 16384 \
    --flash-attn on \
    --temp 0.8 \
    --top-p 0.6 \
    --top-k 2 \
    --repeat-penalty 1.1 \
    -ot ".ffn_.*_exps.=CPU"

Téléchargez le modèle via (après avoir installé pip install huggingface_hub hf_transfer ). Vous pouvez choisir UD-Q4_K_XL (quantification dynamique 4 bits) ou d’autres versions quantifiées comme Q8_K_XL .

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "0" # Peut parfois appliquer une limite de débit, donc mettez à 0 pour désactiver
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/GLM-4.6V-Flash-GGUF",
    local_dir = "unsloth/GLM-4.6V-Flash-GGUF",
    allow_patterns = ["*UD-Q8_K_XL*"],
)

GLM-4.6

🦙 Exécuter dans Ollama

Installez ollama si ce n’est pas déjà fait ! Pour exécuter plus de variantes du modèle, voir ici.

apt-get update
apt-get install pciutils -y
curl -fsSL https://ollama.com/install.sh | sh

Exécutez le modèle ! Notez que vous pouvez appeler ollama servedans un autre terminal si cela échoue ! Nous incluons tous nos correctifs et paramètres suggérés (température, etc.) dans params dans notre envoi Hugging Face !

OLLAMA_MODELS=unsloth ollama serve &

OLLAMA_MODELS=unsloth ollama run hf.co/unsloth/GLM-4.6-GGUF:TQ1_0

Pour exécuter d’autres quantifications, vous devez d’abord fusionner les fichiers GGUF séparés en un seul, comme dans le code ci-dessous. Vous devrez ensuite exécuter le modèle localement.

./llama.cpp/llama-gguf-split --merge \
  GLM-4.6-GGUF/GLM-4.6-UD-Q2_K_XL/GLM-4.6-UD-Q2_K_XL-00001-of-00003.gguf \
	merged_file.gguf

OLLAMA_MODELS=unsloth ollama serve &

OLLAMA_MODELS=unsloth ollama run merged_file.gguf

✨ Exécuter dans llama.cpp

Obtenez la dernière version llama.cpp sur GitHub ici. Vous pouvez également suivre les instructions de compilation ci-dessous. Modifiez -DGGML_CUDA=ON en -DGGML_CUDA=OFF si vous n’avez pas de GPU ou si vous voulez simplement une inférence CPU.

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-quantize llama-cli llama-gguf-split llama-mtmd-cli llama-server
cp llama.cpp/build/bin/llama-* llama.cpp

Si vous souhaitez utiliser llama.cpp directement pour charger les modèles, vous pouvez faire ce qui suit : (:Q2_K_XL) est le type de quantification. Vous pouvez aussi télécharger via Hugging Face (point 3). C’est similaire à ollama run . Utilisez export LLAMA_CACHE="folder" pour forcer llama.cpp pour enregistrer dans un emplacement spécifique. N’oubliez pas que le modèle a une longueur de contexte maximale de seulement 128K.

Veuillez essayer -ot ".ffn_.*_exps.=CPU" pour décharger toutes les couches MoE vers le CPU ! Cela permet effectivement de faire tenir toutes les couches non MoE sur 1 GPU, améliorant les vitesses de génération. Vous pouvez personnaliser l’expression regex pour faire tenir davantage de couches si vous avez plus de capacité GPU.

Si vous avez un peu plus de mémoire GPU, essayez -ot ".ffn_(up|down)_exps.=CPU" Cela décharge les couches MoE de projection vers le haut et vers le bas.

Essayez -ot ".ffn_(up)_exps.=CPU" si vous avez encore plus de mémoire GPU. Cela ne décharge que les couches MoE de projection vers le haut.

Et enfin, déchargez toutes les couches via -ot ".ffn_.*_exps.=CPU" Cela utilise le moins de VRAM.

Vous pouvez aussi personnaliser la regex, par exemple -ot "\.(6|7|8|9|[0-9][0-9]|[0-9][0-9][0-9])\.ffn_(gate|up|down)_exps.=CPU" signifie de décharger les couches MoE gate, up et down, mais uniquement à partir de la 6e couche.

export LLAMA_CACHE="unsloth/GLM-4.6-GGUF"
./llama.cpp/llama-cli \
    --model GLM-4.6-GGUF/UD-Q2_K_XL/GLM-4.6-UD-Q2_K_XL-00001-of-00003.gguf \
    --n-gpu-layers 99 \
    --jinja \
    --ctx-size 16384 \
    --flash-attn on \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 40 \
    -ot ".ffn_.*_exps.=CPU"

Téléchargez le modèle via (après avoir installé pip install huggingface_hub hf_transfer ). Vous pouvez choisir UD-Q2_K_XL (quantification dynamique 2 bits) ou d’autres versions quantifiées comme Q4_K_XL . Nous recommandons d’utiliser notre quantification dynamique 2,7 bits UD-Q2_K_XL pour équilibrer taille et précision.

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "0" # Peut parfois appliquer une limite de débit, donc mettez à 0 pour désactiver
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/GLM-4.6-GGUF",
    local_dir = "unsloth/GLM-4.6-GGUF",
    allow_patterns = ["*UD-Q2_K_XL*"], # 2 bits dynamique Utilisez "*UD-TQ1_0*" pour 1 bit dynamique
)

Vous pouvez modifier --threads 32 pour le nombre de threads CPU, --ctx-size 16384 pour la longueur du contexte, --n-gpu-layers 2 pour le déchargement GPU, selon le nombre de couches. Essayez de l’ajuster si votre GPU manque de mémoire. Supprimez-le aussi si vous n’utilisez que le CPU pour l’inférence.

./llama.cpp/llama-cli \
    --model unsloth/GLM-4.6-GGUF/UD-Q2_K_XL/GLM-4.6-UD-Q2_K_XL-00001-of-00003.gguf \
    --jinja \
    --n-gpu-layers 99 \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 40 \
    --ctx-size 16384 \
    --seed 3407 \
    -ot ".ffn_.*_exps.=CPU"

✨ Déployez avec llama-server et la bibliothèque de complétion d’OpenAI

Pour utiliser llama-server pour le déploiement, utilisez la commande suivante :

./llama.cpp/llama-server \
    --model unsloth/GLM-4.6-GGUF/UD-Q2_K_XL/GLM-4.6-UD-Q2_K_XL-00001-of-00003.gguf \
    --alias "unsloth/GLM-4.6" \
    --n-gpu-layers 999 \
    -ot ".ffn_.*_exps.=CPU" \
    --prio 3 \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 40 \
    --ctx-size 16384 \
    --port 8001 \
    --jinja

Utilisez ensuite la bibliothèque Python d’OpenAI après pip install openai :

from openai import OpenAI
import json
openai_client = OpenAI(
    base_url = "http://127.0.0.1:8001/v1",
    api_key = "sk-no-key-required",
)
completion = openai_client.chat.completions.create(
    model = "unsloth/GLM-4.6",
    messages = [{"role": "user", "content": "What is 2+2?"},],
)
print(completion.choices[0].message.content)

💽Téléchargements du modèle

TOUS nos téléchargements - y compris ceux qui ne sont pas basés sur imatrix ou dynamiques - utilisent notre jeu de données de calibration, spécifiquement optimisé pour les tâches de conversation, de codage et de langage.

Téléchargements complets du modèle GLM-4.6 ci-dessous :

Nous avons également téléversé IQ4_NL et Q4_1 quantifications qui s’exécutent spécifiquement plus vite sur les appareils ARM et Apple respectivement.

Bits MoE

Type + lien

Taille disque

Détails

1,66 bit

TQ1_0

84 Go

1,92/1,56 bit

1,78 bit

IQ1_S

96 Go

2,06/1,56 bit

1,93 bit

IQ1_M

107 Go

2.5/2.06/1.56

2,42 bit

IQ2_XXS

115 Go

2,5/2,06 bit

2,71 bit

Q2_K_XL

135 Go

3,5/2,5 bit

3,12 bit

IQ3_XXS

145 Go

3,5/2,06 bit

3,5 bit

Q3_K_XL

158 Go

4,5/3,5 bit

4,5 bit

Q4_K_XL

204 Go

5,5/4,5 bit

5,5 bit

Q5_K_XL

252 Go

6,5/5,5 bit

🏂 Améliorer la vitesse de génération

Si vous avez plus de VRAM, vous pouvez essayer de décharger davantage de couches MoE, ou de décharger des couches entières.

Normalement, -ot ".ffn_.*_exps.=CPU" décharge toutes les couches MoE vers le CPU ! Cela permet effectivement de faire tenir toutes les couches non MoE sur 1 GPU, améliorant les vitesses de génération. Vous pouvez personnaliser l’expression regex pour faire tenir davantage de couches si vous avez plus de capacité GPU.

Si vous avez un peu plus de mémoire GPU, essayez -ot ".ffn_(up|down)_exps.=CPU" Cela décharge les couches MoE de projection vers le haut et vers le bas.

Essayez -ot ".ffn_(up)_exps.=CPU" si vous avez encore plus de mémoire GPU. Cela ne décharge que les couches MoE de projection vers le haut.

Llama.cpp introduit également un mode à haut débit. Utilisez llama-parallel. En savoir plus à ce sujet ici. Vous pouvez aussi quantifier le cache KV à 4 bits par exemple pour réduire les mouvements entre VRAM et RAM, ce qui peut aussi accélérer le processus de génération.

📐Comment faire tenir un long contexte (200K complet)

Pour faire tenir un contexte plus long, vous pouvez utiliser la quantification du cache KV pour quantifier les caches K et V à des bits plus faibles. Cela peut aussi augmenter la vitesse de génération grâce à une réduction des mouvements de données RAM/VRAM. Les options autorisées pour la quantification K (la valeur par défaut est f16) incluent les suivantes.

--cache-type-k f32, f16, bf16, q8_0, q4_0, q4_1, iq4_nl, q5_0, q5_1

Vous devriez utiliser les variantes _1 pour une précision légèrement améliorée, bien qu’elles soient un peu plus lentes. Par exemple q4_1, q5_1

Vous pouvez aussi quantifier le cache V, mais vous devrez compiler llama.cpp avec la prise en charge de Flash Attention via -DGGML_CUDA_FA_ALL_QUANTS=ON, et utiliser --flash-attn pour l’activer. Ensuite, vous pouvez l’utiliser avec --cache-type-k :

--cache-type-v f32, f16, bf16, q8_0, q4_0, q4_1, iq4_nl, q5_0, q5_1

Mis à jour il y a 2 mois

Ce contenu vous a-t-il été utile ?