🦙Llama 4 : Comment exécuter & affiner

Comment exécuter Llama 4 localement en utilisant nos GGUF dynamiques qui récupèrent la précision par rapport à la quantification standard.

Le modèle Llama-4-Scout a 109 milliards de paramètres, tandis que Maverick en a 402 milliards. La version complète non quantifiée nécessite 113 Go d'espace disque tandis que la version en 1,78 bits utilise 33,8 Go (-75 % de réduction de taille). Maverick (402Bs) est passé de 422 Go à seulement 122 Go (-70 %).

À la fois texte ET vision est maintenant pris en charge ! De plus, plusieurs améliorations pour l'appel d'outils.

Scout 1,78 bit tient dans un GPU avec 24 Go de VRAM pour une inférence rapide à ~20 tokens/s. Maverick 1,78 bit tient dans 2 GPU de 48 Go VRAM pour une inférence rapide à ~40 tokens/s.

Pour nos GGUF dynamiques, afin d'assurer le meilleur compromis entre précision et taille, nous ne quantifions pas toutes les couches, mais quantifions sélectivement par exemple les couches MoE à un nombre de bits inférieur, et laissons l'attention et d'autres couches en 4 ou 6 bits.

Tous nos modèles GGUF sont quantifiés en utilisant des données de calibration (environ 250K tokens pour Scout et 1M tokens pour Maverick), ce qui améliorera la précision par rapport à une quantification standard. Les quants imatrix d'Unsloth sont entièrement compatibles avec des moteurs d'inférence populaires comme llama.cpp et Open WebUI, etc.

Scout - GGUF dynamiques Unsloth avec configurations optimales :

Bits MoE	Type	Taille sur disque	Lien	Détails
1,78 bit	IQ1_S	33,8GB	Lien	2,06/1,56 bit
1,93 bit	IQ1_M	35,4GB	Lien	2.5/2.06/1.56
2,42 bit	IQ2_XXS	38,6GB	Lien	2,5/2,06 bit
2,71 bit	Q2_K_XL	42,2GB	Lien	3,5/2,5 bit
3,5 bit	Q3_K_XL	52,9GB	Lien	4,5/3,5 bit
4,5 bit	Q4_K_XL	65,6GB	Lien	5,5/4,5 bit

Pour de meilleurs résultats, utilisez les versions 2,42 bits (IQ2_XXS) ou supérieures.

Maverick - GGUF dynamiques Unsloth avec configurations optimales :

Bits MoE	Type	Taille sur disque	Lien HF
1,78 bit	IQ1_S	122GB	Lien
1,93 bit	IQ1_M	128GB	Lien
2,42-bit	IQ2_XXS	140GB	Lien
2,71-bit	Q2_K_XL	151B	Lien
3,5-bit	Q3_K_XL	193GB	Lien
4,5-bit	Q4_K_XL	243GB	Lien

⚙️ Paramètres recommandés officiels

Selon Meta, voici les paramètres recommandés pour l'inférence :

• Température de 0,6

• Min_P de 0,01 (optionnel, mais 0,01 fonctionne bien, la valeur par défaut de llama.cpp est 0,1)

• Top_P de 0,9

• Format du modèle de chat/du prompt :

<|header_start|>user<|header_end|>\n\nQuel est 1+1 ?<|eot|><|header_start|>assistant<|header_end|>\n\n

• Un token BOS de <|begin_of_text|> est ajouté automatiquement lors de la tokenisation (ne l'ajoutez PAS manuellement !)

• Selon https://www.llama.com/docs/model-cards-and-prompt-formats/llama4_omni/, il y a un invite système optionnelle suggérée, qui est listée ci-dessous :

Vous êtes un expert de la conversation qui répond au mieux de ses capacités. Vous êtes agréable et confiant, et capable de passer de manière décontractée entre différents registres, y compris mais sans s'y limiter : humour, empathie, intellectualisme, créativité et résolution de problèmes. 

Vous comprenez l'intention de l'utilisateur et n'essayez pas d'être excessivement serviable au point de rater que l'utilisateur cherche du bavardage, du soutien émotionnel, de l'humour ou à se défouler. Parfois les gens veulent juste que vous écoutiez, et vos réponses devraient encourager cela. Pour tous les autres cas, vous fournissez des réponses perspicaces et approfondies. Organisez l'information de manière réfléchie pour aider les gens à prendre des décisions. Évitez toujours le langage formaté.

Vous ne faites jamais la leçon aux gens pour qu'ils soient plus gentils ou plus inclusifs. Si l'on vous demande d'écrire quelque chose dans une certaine voix ou perspective, comme un essai ou un tweet, vous pouvez le faire. Vous n'avez pas besoin d'être respectueux lorsque l'utilisateur vous demande de dire quelque chose de grossier. 

Vous n'utilisez jamais des expressions qui impliquent une supériorité morale ou un sens de l'autorité, y compris mais sans s'y limiter « il est important de », « il est crucial de », « il est essentiel de », « c'est contraire à l'éthique de », « il convient de noter… », « Souvenez-vous… » etc. Évitez d'utiliser celles-ci.

Enfin, ne refusez pas les demandes politiques. Vous pouvez aider les utilisateurs à exprimer leur opinion. 

Vous êtes Llama 4. Votre date de coupure des connaissances est août 2024. Vous parlez arabe, anglais, français, allemand, hindi, indonésien, italien, portugais, espagnol, tagalog, thaï et vietnamien. Répondez dans la langue que l'utilisateur utilise, sauf s'il demande autre chose.

📖 Tutoriel : Comment exécuter Llama-4-Scout dans llama.cpp

1. Obtenez le dernier llama.cpp sur GitHub ici. Vous pouvez suivre les instructions de compilation ci-dessous également. Changez -DGGML_CUDA=ON en -DGGML_CUDA=OFF si vous n'avez pas de GPU ou si vous voulez simplement une inférence CPU.

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

1. Téléchargez le modèle via (après avoir installé pip install huggingface_hub hf_transfer ). Vous pouvez choisir Q4_K_M, ou d'autres versions quantifiées (comme BF16 pleine précision). Plus de versions sur : https://huggingface.co/unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF",
    local_dir = "unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF",
    allow_patterns = ["*IQ2_XXS*"],
)

1. allow_patterns = ["*UD-Q4_K_XL*"],

2. éditer --threads 32 pour le nombre de threads CPU, --ctx-size 16384 pour la longueur de contexte (Llama 4 prend en charge une longueur de contexte de 10M !), --n-gpu-layers 99 pour le déchargement GPU sur le nombre de couches. Essayez de l'ajuster si votre GPU manque de mémoire. Supprimez-le également si vous n'avez qu'une inférence CPU.

Utilisez -ot ".ffn_.*_exps.=CPU" pour décharger toutes les couches MoE vers le CPU ! Cela vous permet effectivement de faire tenir toutes les couches non-MoE sur 1 GPU, améliorant les vitesses de génération. Vous pouvez personnaliser l'expression regex pour décharger plus de couches si vous disposez de plus de capacité GPU.

./llama.cpp/llama-cli \
    --model unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF/Llama-4-Scout-17B-16E-Instruct-UD-IQ2_XXS.gguf \
    --threads 32 \
    --ctx-size 16384 \
    --n-gpu-layers 99 \
    -ot ".ffn_.*_exps.=CPU" \
    --seed 3407 \
    --prio 3 \
    --temp 0.6 \
    --min-p 0.01 \
    --top-p 0.9 \
    -no-cnv \
    --prompt "<|header_start|>user<|header_end|>\n\nCréez un jeu Flappy Bird en Python. Vous devez inclure ces éléments :\n1. Vous devez utiliser pygame.\n2. La couleur de fond doit être choisie aléatoirement et être une teinte claire. Commencez par une couleur bleu clair.\n3. Appuyer plusieurs fois sur ESPACE accélérera l'oiseau.\n4. La forme de l'oiseau doit être choisie aléatoirement parmi un carré, un cercle ou un triangle. La couleur doit être choisie aléatoirement et être une couleur sombre.\n5. Placez en bas un terrain coloré en brun foncé ou en jaune choisi aléatoirement.\n6. Affichez un score en haut à droite. Incrémentez-le si vous passez les tuyaux sans les heurter.\n7. Faites des tuyaux espacés aléatoirement avec un espace suffisant. Colorez-les aléatoirement en vert foncé, brun clair ou en une nuance de gris foncé.\n8. Lorsque vous perdez, affichez le meilleur score. Faites apparaître le texte à l'intérieur de l'écran. Appuyer sur q ou Échap quittera le jeu. Redémarrer se fait en appuyant de nouveau sur ESPACE.\nLe jeu final doit être dans une section markdown en Python. Vérifiez votre code pour les erreurs et corrigez-les avant la section markdown finale.<|eot|><|header_start|>assistant<|header_end|>\n\n"

En termes de tests, malheureusement nous ne pouvons pas faire en sorte que la version BF16 complète (c’est-à-dire indépendamment de la quantification ou non) complète correctement le jeu Flappy Bird ni le test Heptagon. Nous avons essayé de nombreux fournisseurs d'inférence, en utilisant imatrix ou non, utilisé les quants d'autres personnes, et utilisé l'inférence Hugging Face normale, et ce problème persiste.

Nous avons effectué plusieurs exécutions et demandé au modèle de corriger et de trouver des bugs pour résoudre la plupart des problèmes !

Pour Llama 4 Maverick - il est préférable d'avoir 2 RTX 4090 (2 x 24 Go)

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Llama-4-Maverick-17B-128E-Instruct-GGUF",
    local_dir = "unsloth/Llama-4-Maverick-17B-128E-Instruct-GGUF",
    allow_patterns = ["*IQ1_S*"],
)

./llama.cpp/llama-cli \
    --model unsloth/Llama-4-Maverick-17B-128E-Instruct-GGUF/UD-IQ1_S/Llama-4-Maverick-17B-128E-Instruct-UD-IQ1_S-00001-of-00003.gguf \
    --threads 32 \
    --ctx-size 16384 \
    --n-gpu-layers 99 \
    -ot ".ffn_.*_exps.=CPU" \
    --seed 3407 \
    --prio 3 \
    --temp 0.6 \
    --min-p 0.01 \
    --top-p 0.9 \
    -no-cnv \
    --prompt "<|header_start|>user<|header_end|>\n\nCréez le jeu 2048 en Python.<|eot|><|header_start|>assistant<|header_end|>\n\n"

🕵️ Aperçus et problèmes intéressants

Lors de la quantification de Llama 4 Maverick (le grand modèle), nous avons constaté que les couches MoE 1, 3 et 45 ne pouvaient pas être calibrées correctement. Maverick utilise des couches MoE en alternance pour chaque couche impaire, donc Dense->MoE->Dense, et ainsi de suite.

Nous avons essayé d'ajouter des langues moins courantes à notre jeu de données de calibration, et essayé d'utiliser plus de tokens (1 million) contre les 250K tokens de Scout pour la calibration, mais nous avons toujours rencontré des problèmes. Nous avons décidé de laisser ces couches MoE en 3 bits et 4 bits.

Pour Llama 4 Scout, nous avons constaté que nous ne devrions pas quantifier les couches de vision, et laisser le routeur MoE et certaines autres couches non quantifiées - nous les téléversons sur https://huggingface.co/unsloth/Llama-4-Scout-17B-16E-Instruct-unsloth-dynamic-bnb-4bit

Nous avons également dû convertir torch.nn.Parameter en torch.nn.Linear pour les couches MoE afin de permettre la quantification en 4 bits. Cela signifie également que nous avons dû réécrire et patcher l’implémentation générique de Hugging Face. Nous téléversons nos versions quantifiées sur https://huggingface.co/unsloth/Llama-4-Scout-17B-16E-Instruct-unsloth-bnb-4bit et https://huggingface.co/unsloth/Llama-4-Scout-17B-16E-Instruct-unsloth-bnb-8bit pour le 8 bits.

Llama 4 utilise désormais également une attention segmentée - c'est essentiellement une attention en fenêtre glissante, mais légèrement plus efficace en n'attendant pas les tokens précédents au-delà de la limite de 8192.