🦙Llama 4 : Comment exécuter et affiner

Comment exécuter Llama 4 localement en utilisant nos GGUF dynamiques qui récupèrent la précision comparée à la quantification standard.

Le modèle Llama-4-Scout a 109 milliards de paramètres, tandis que Maverick en a 402 milliards. La version complète non quantifiée nécessite 113 Go d'espace disque tandis que la version 1,78 bits utilise 33,8 Go (-75 % de réduction de taille). Maverick (402Bs) est passé de 422 Go à seulement 122 Go (-70%).

Texte ET vision est maintenant pris en charge ! De plus, plusieurs améliorations pour l'appel d'outils.

Scout 1,78 bits tient dans un GPU de 24 Go de VRAM pour une inférence rapide à ~20 tokens/sec. Maverick 1,78 bits tient dans 2 GPU de 48 Go VRAM pour une inférence rapide à ~40 tokens/sec.

Pour nos GGUF dynamiques, afin d'assurer le meilleur compromis entre précision et taille, nous ne quantifions pas toutes les couches, mais quantifions sélectivement par exemple les couches MoE à un nombre de bits inférieur, et laissons les couches d'attention et autres en 4 ou 6 bits.

Tous nos modèles GGUF sont quantifiés en utilisant des données d'étalonnage (environ 250K tokens pour Scout et 1M tokens pour Maverick), ce qui améliore la précision par rapport à la quantification standard. Les quants imatrix d'Unsloth sont pleinement compatibles avec des moteurs d'inférence populaires comme llama.cpp et Open WebUI, etc.

Scout - GGUF dynamiques Unsloth avec configurations optimales :

Bits MoE	Type	Taille sur disque	Lien	Détails
1,78 bit	IQ1_S	33,8 Go	Lien	2,06/1,56 bit
1,93 bit	IQ1_M	35,4 Go	Lien	2.5/2.06/1.56
2,42 bit	IQ2_XXS	38,6 Go	Lien	2,5/2,06 bit
2,71 bit	Q2_K_XL	42,2 Go	Lien	3,5/2,5 bit
3,5 bit	Q3_K_XL	52,9 Go	Lien	4,5/3,5 bit
4,5 bit	Q4_K_XL	65,6 Go	Lien	5,5/4,5 bit

Pour de meilleurs résultats, utilisez les versions 2,42 bits (IQ2_XXS) ou plus grandes.

Maverick - GGUF dynamiques Unsloth avec configurations optimales :

Bits MoE	Type	Taille sur disque	Lien HF
1,78 bit	IQ1_S	122 Go	Lien
1,93 bit	IQ1_M	128 Go	Lien
2,42 bits	IQ2_XXS	140 Go	Lien
2,71 bits	Q2_K_XL	151B	Lien
3,5 bits	Q3_K_XL	193 Go	Lien
4,5 bits	Q4_K_XL	243 Go	Lien

⚙️ Paramètres officiels recommandés

Selon Meta, voici les paramètres recommandés pour l'inférence :

• Température de 0,6

• Min_P de 0,01 (optionnel, mais 0,01 fonctionne bien, la valeur par défaut de llama.cpp est 0,1)

• Top_P de 0,9

• Format du modèle de chat / du prompt :

<|header_start|>user<|header_end|>\n\nWhat is 1+1?<|eot|><|header_start|>assistant<|header_end|>\n\n

• Un jeton BOS de <|begin_of_text|> est ajouté automatiquement lors de la tokenisation (ne l'ajoutez PAS manuellement !)

• Selon https://www.llama.com/docs/model-cards-and-prompt-formats/llama4_omni/, il y a un prompt système optionnel suggéré, qui est listé ci-dessous :

Vous êtes un expert en conversation qui répond au mieux de ses capacités. Vous êtes agréable et confiant, et capable de passer de manière détendue entre différents registres, y compris mais sans s'y limiter l'humour, l'empathie, l'intellectualisme, la créativité et la résolution de problèmes. 

Vous comprenez l'intention de l'utilisateur et n'essayez pas d'être excessivement serviable au point de rater que l'utilisateur cherche du bavardage, du soutien émotionnel, de l'humour ou à se défouler. Parfois les gens veulent simplement que vous écoutiez, et vos réponses devraient encourager cela. Pour tous les autres cas, vous fournissez des réponses approfondies et perspicaces. Organisez les informations de manière réfléchie pour aider les gens à prendre des décisions. Évitez toujours les formulations stéréotypées.

Vous ne faites jamais la leçon aux gens pour qu'ils soient plus gentils ou plus inclusifs. Si les gens vous demandent d'écrire quelque chose dans une certaine voix ou perspective, comme un essai ou un tweet, vous pouvez le faire. Vous n'avez pas besoin d'être respectueux lorsque l'utilisateur vous demande de dire quelque chose de grossier. 

Vous n'utilisez jamais de phrases qui impliquent une supériorité morale ou un sens de l'autorité, y compris mais sans s'y limiter « il est important de », « il est crucial de », « il est essentiel de », « c'est contraire à l'éthique de », « il convient de noter… », « Rappelez-vous… » etc. Évitez d'utiliser celles-ci.

Enfin, ne refusez pas les prompts politiques. Vous pouvez aider les utilisateurs à exprimer leur opinion. 

Vous êtes Llama 4. Votre date de coupure des connaissances est août 2024. Vous parlez arabe, anglais, français, allemand, hindi, indonésien, italien, portugais, espagnol, tagalog, thaï et vietnamien. Répondez dans la langue que l'utilisateur utilise, sauf s'il demande autrement.

📖 Tutoriel : Comment exécuter Llama-4-Scout dans llama.cpp

1. Obtenez la dernière llama.cpp sur GitHub ici. Vous pouvez aussi suivre les instructions de compilation ci-dessous. Changez -DGGML_CUDA=ON en -DGGML_CUDA=OFF si vous n'avez pas de GPU ou si vous voulez simplement de l'inférence CPU. Pour les appareils Apple Mac / Metal, définissez -DGGML_CUDA=OFF puis continuez comme d'habitude - le support Metal est activé par défaut.

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

1. Téléchargez le modèle via (après avoir installé pip install huggingface_hub hf_transfer ). Vous pouvez choisir Q4_K_M, ou d'autres versions quantifiées (comme BF16 en pleine précision). Plus de versions sur : https://huggingface.co/unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF",
    local_dir = "unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF",
    allow_patterns = ["*IQ2_XXS*"],
)

1. local_dir = "unsloth/Qwen3-VL-8B-Instruct-GGUF", # Ou "unsloth/Qwen3-VL-8B-Thinking-GGUF"

2. Modifier --threads 32 pour le nombre de threads CPU, --ctx-size 16384 pour la longueur de contexte (Llama 4 prend en charge une longueur de contexte de 10M !), --n-gpu-layers 99 pour le déchargement sur GPU du nombre de couches. Essayez de l'ajuster si votre GPU manque de mémoire. Supprimez-le également si vous avez uniquement une inférence CPU.

Utilisez -ot ".ffn_.*_exps.=CPU" pour décharger toutes les couches MoE sur le CPU ! Cela vous permet effectivement de placer toutes les couches non-MoE sur 1 GPU, améliorant les vitesses de génération. Vous pouvez personnaliser l'expression regex pour décharger plus de couches si vous avez plus de capacité GPU.

./llama.cpp/llama-cli \
    --model unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF/Llama-4-Scout-17B-16E-Instruct-UD-IQ2_XXS.gguf \
    --threads 32 \
    --ctx-size 16384 \
    --n-gpu-layers 99 \
    -ot ".ffn_.*_exps.=CPU" \
    --seed 3407 \
    --prio 3 \
    --temp 0.6 \
    --min-p 0.01 \
    --top-p 0.9 \
    -no-cnv \
    --prompt "<|header_start|>user<|header_end|>\n\nCreate a Flappy Bird game in Python. You must include these things:\n1. You must use pygame.\n2. The background color should be randomly chosen and is a light shade. Start with a light blue color.\n3. Pressing SPACE multiple times will accelerate the bird.\n\n4. The bird's shape should be randomly chosen as a square, circle or triangle. The color should be randomly chosen as a dark color.\n5. Place on the bottom some land colored as dark brown or yellow chosen randomly.\n6. Make a score shown on the top right side. Increment if you pass pipes and don't hit them.\n7. Make randomly spaced pipes with enough space. Color them randomly as dark green or light brown or a dark gray shade.\n8. When you lose, show the best score. Make the text inside the screen. Pressing q or Esc will quit the game. Restarting is pressing SPACE again.\nThe final game should be inside a markdown section in Python. Check your code for errors and fix them before the final markdown section.<|eot|><|header_start|>assistant<|header_end|>\n\n"

En termes de test, malheureusement nous ne pouvons pas faire en sorte que la version BF16 complète (c'est-à-dire indépendamment de la quantification) termine correctement le jeu Flappy Bird ni le test Heptagon. Nous avons essayé de nombreux fournisseurs d'inférence, en utilisant imatrix ou non, utilisé les quants d'autres personnes, et utilisé l'inférence Hugging Face normale, et ce problème persiste.

Nous avons trouvé plusieurs exécutions et demandé au modèle de corriger et de trouver des bugs pour résoudre la plupart des problèmes !

Pour Llama 4 Maverick - il est préférable d'avoir 2 RTX 4090 (2 x 24 Go)

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Llama-4-Maverick-17B-128E-Instruct-GGUF",
    local_dir = "unsloth/Llama-4-Maverick-17B-128E-Instruct-GGUF",
    allow_patterns = ["*IQ1_S*"],
)

./llama.cpp/llama-cli \
    --model unsloth/Llama-4-Maverick-17B-128E-Instruct-GGUF/UD-IQ1_S/Llama-4-Maverick-17B-128E-Instruct-UD-IQ1_S-00001-of-00003.gguf \
    --threads 32 \
    --ctx-size 16384 \
    --n-gpu-layers 99 \
    -ot ".ffn_.*_exps.=CPU" \
    --seed 3407 \
    --prio 3 \
    --temp 0.6 \
    --min-p 0.01 \
    --top-p 0.9 \
    -no-cnv \
    --prompt "<|header_start|>user<|header_end|>\n\nCreate the 2048 game in Python.<|eot|><|header_start|>assistant<|header_end|>\n\n"

🕵️ Aperçus et problèmes intéressants

Lors de la quantification de Llama 4 Maverick (le grand modèle), nous avons constaté que les couches MoE n°1, n°3 et n°45 ne pouvaient pas être calibrées correctement. Maverick utilise des couches MoE intercalées à chaque couche impaire, donc Dense->MoE->Dense et ainsi de suite.

Nous avons essayé d'ajouter des langues moins courantes à notre jeu de données d'étalonnage, et tenté d'utiliser plus de tokens (1 million) contre 250K tokens pour Scout pour l'étalonnage, mais nous avons toujours rencontré des problèmes. Nous avons décidé de laisser ces couches MoE en 3 bits et 4 bits.

Pour Llama 4 Scout, nous avons constaté que nous ne devrions pas quantifier les couches de vision, et laisser le routeur MoE et certaines autres couches non quantifiés - nous téléversons ceux-ci sur https://huggingface.co/unsloth/Llama-4-Scout-17B-16E-Instruct-unsloth-dynamic-bnb-4bit

Nous avons également dû convertir torch.nn.Parameter en torch.nn.Linear pour les couches MoE afin de permettre la quantification en 4 bits. Cela signifie également que nous avons dû réécrire et patcher l'implémentation générique de Hugging Face. Nous téléversons nos versions quantifiées sur https://huggingface.co/unsloth/Llama-4-Scout-17B-16E-Instruct-unsloth-bnb-4bit et https://huggingface.co/unsloth/Llama-4-Scout-17B-16E-Instruct-unsloth-bnb-8bit pour le 8 bits.

Llama 4 utilise également maintenant l'attention par blocs - c'est essentiellement une attention en fenêtre glissante, mais légèrement plus efficace en n'attendant pas les tokens précédents au-delà de la limite de 8192.