Gemma 3 - guide d'exécution

Comment exécuter efficacement Gemma 3 avec nos GGUF sur llama.cpp, Ollama, Open WebUI et comment fine-tuner avec Unsloth !

Google publie Gemma 3 avec un nouveau modèle 270M et les tailles précédentes 1B, 4B, 12B et 27B. Les 270M et 1B sont uniquement textuels, tandis que les modèles plus grands prennent en charge à la fois le texte et la vision. Nous fournissons des GGUF, ainsi qu’un guide sur la façon de l’exécuter efficacement, et sur la façon de le fine-tuner et de faire RL avec Gemma 3 !

NOUVEAU Mise à jour du 14 août 2025 : Essayez notre fine-tuning notebook Gemma 3 (270M) et GGUF pour l’exécuter.

Voir aussi notre Guide Gemma 3n.

Tutoriel d’exécutionTutoriel de fine-tuning

Unsloth est le seul framework qui fonctionne sur des machines float16 pour l’inférence et l’entraînement de Gemma 3. Cela signifie que les notebooks Colab avec des GPU Tesla T4 gratuits fonctionnent aussi !

• Fine-tunez Gemma 3 (4B) avec prise en charge de la vision à l’aide de notre notebook Colab gratuit

Selon l’équipe Gemma, la configuration optimale pour l’inférence est température = 1.0, top_k = 64, top_p = 0.95, min_p = 0.0

Téléversements Unsloth Gemma 3 avec configurations optimales :

format GGUF	Instruct dynamique 4 bits d’Unsloth	Instruct 16 bits
270M - nouveau 1B 4B 12B 27B	270M 1B 4B 12B 27B	270M 1B 4B 12B 27B

⚙️ Paramètres d’inférence recommandés

Selon l’équipe Gemma, les paramètres officiels recommandés pour l’inférence sont :

• Température de 1.0

• Top_K de 64

• Min_P de 0,00 (facultatif, mais 0,01 fonctionne bien, la valeur par défaut de llama.cpp est 0,1)

• Top_P de 0.95

• Pénalité de répétition de 1.0. (1.0 signifie désactivé dans llama.cpp et transformers)

• Modèle de chat :

  <bos><start_of_turn>user\nHello!<end_of_turn>\n<start_of_turn>model\nHey there!<end_of_turn>\n<start_of_turn>user\nWhat is 1+1?<end_of_turn>\n<start_of_turn>model\n

• Modèle de chat avec \nles retours à la ligne rendus (sauf pour le dernier)

<bos><start_of_turn>user
Hello!<end_of_turn>
<start_of_turn>model
Hey there!<end_of_turn>
<start_of_turn>user
What is 1+1?<end_of_turn>
<start_of_turn>model\n

llama.cpp et d’autres moteurs d’inférence ajoutent automatiquement un <bos> - N’AJOUTEZ PAS DEUX jetons <bos> ! Vous devez ignorer le <bos> lors du prompting du modèle !

✨Exécuter Gemma 3 sur votre téléphone

Pour exécuter les modèles sur votre téléphone, nous vous recommandons d’utiliser toute application mobile capable d’exécuter localement des GGUF sur des appareils en périphérie comme les téléphones. Après le fine-tuning, vous pouvez l’exporter en GGUF puis l’exécuter localement sur votre téléphone. Assurez-vous que votre téléphone dispose de suffisamment de RAM/puissance pour traiter les modèles, car il peut surchauffer ; nous recommandons donc d’utiliser Gemma 3 270M ou les modèles Gemma 3n pour ce cas d’usage. Vous pouvez essayer le projet open source AnythingLLM application mobile que vous pouvez télécharger sur Android ici ou ChatterUI, qui sont d’excellentes applications pour exécuter des GGUF sur votre téléphone.

Rappelez-vous, vous pouvez changer le nom du modèle 'gemma-3-27b-it-GGUF' en n’importe quel modèle Gemma comme 'gemma-3-270m-it-GGUF:Q8_K_XL' pour tous les tutoriels.

🦙 Tutoriel : Comment exécuter Gemma 3 dans Ollama

1. Installez ollama si vous ne l’avez pas déjà fait !

apt-get update
apt-get install pciutils -y
curl -fsSL https://ollama.com/install.sh | sh

1. Exécutez le modèle ! Notez que vous pouvez appeler ollama servedans un autre terminal si cela échoue ! Nous incluons toutes nos corrections et les paramètres suggérés (température, etc.) dans params dans notre téléversement Hugging Face ! Vous pouvez changer le nom du modèle 'gemma-3-27b-it-GGUF' en n’importe quel modèle Gemma comme 'gemma-3-270m-it-GGUF:Q8_K_XL'.

ollama run hf.co/unsloth/gemma-3-27b-it-GGUF:Q4_K_XL

📖 Tutoriel : Comment exécuter Gemma 3 27B dans llama.cpp

1. Obtenez la dernière version llama.cpp sur GitHub ici. Vous pouvez également suivre les instructions de compilation ci-dessous. Changez -DGGML_CUDA=ON en -DGGML_CUDA=OFF si vous n’avez pas de GPU ou si vous souhaitez simplement une inférence CPU. Pour les appareils Apple Mac / Metal, définissez -DGGML_CUDA=OFF puis continuez comme d'habitude - la prise en charge de Metal est activée par défaut.

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=ON -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-quantize llama-cli llama-gguf-split llama-mtmd-cli
cp llama.cpp/build/bin/llama-* llama.cpp

1. Si vous souhaitez utiliser llama.cpp directement pour charger les modèles, vous pouvez faire ce qui suit : (:Q4_K_XL) est le type de quantification. Vous pouvez aussi télécharger via Hugging Face (point 3). C’est similaire à ollama run

./llama.cpp/llama-mtmd-cli \
    -hf unsloth/gemma-3-4b-it-GGUF:Q4_K_XL

1. OU télécharger le modèle via (après avoir installé pip install huggingface_hub hf_transfer ). Vous pouvez choisir Q4_K_M, ou d’autres versions quantifiées (comme BF16 en précision complète). Plus de versions sur : https://huggingface.co/unsloth/gemma-3-27b-it-GGUF

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/gemma-3-27b-it-GGUF",
    local_dir = "unsloth/gemma-3-27b-it-GGUF",
    allow_patterns = ["*Q4_K_XL*", "mmproj-BF16.gguf"], # Pour Q4_K_M
)

1. Exécutez le test Flappy Bird d’Unsloth

2. Modifier --threads 32 pour le nombre de threads CPU, --ctx-size 16384 pour la longueur de contexte (Gemma 3 prend en charge une longueur de contexte de 128K !), --n-gpu-layers 99 pour le déchargement GPU, selon le nombre de couches. Essayez de l’ajuster si votre GPU manque de mémoire. Supprimez-le aussi si vous n'avez qu'une inférence CPU.

3. En mode conversation :

./llama.cpp/llama-mtmd-cli \
    --model unsloth/gemma-3-27b-it-GGUF/gemma-3-27b-it-Q4_K_XL.gguf \
    --mmproj unsloth/gemma-3-27b-it-GGUF/mmproj-BF16.gguf \
    --ctx-size 16384 \
    --n-gpu-layers 99 \
    --seed 3407 \
    --prio 2 \
    --temp 1.0 \
    --repeat-penalty 1.0 \
    --min-p 0.01 \
    --top-k 64 \
    --top-p 0.95

1. Pour le mode non conversationnel afin de tester Flappy Bird :

./llama.cpp/llama-cli \
    --model unsloth/gemma-3-27b-it-GGUF/gemma-3-27b-it-Q4_K_XL.gguf \
    --ctx-size 16384 \
    --n-gpu-layers 99 \
    --seed 3407 \
    --prio 2 \
    --temp 1.0 \
    --repeat-penalty 1.0 \
    --min-p 0.01 \
    --top-k 64 \
    --top-p 0.95 \
    -no-cnv \
    --prompt "<start_of_turn>user\nCreate a Flappy Bird game in Python. You must include these things:\n1. You must use pygame.\n2. The background color should be randomly chosen and is a light shade. Start with a light blue color.\n3. Pressing SPACE multiple times will accelerate the bird.\n4. The bird's shape should be randomly chosen as a square, circle or triangle. The color should be randomly chosen as a dark color.\n5. Place on the bottom some land colored as dark brown or yellow chosen randomly.\n6. Make a score shown on the top right side. Increment if you pass pipes and don't hit them.\n7. Make randomly spaced pipes with enough space. Color them randomly as dark green or light brown or a dark gray shade.\n8. When you lose, show the best score. Make the text inside the screen. Pressing q or Esc will quit the game. Restarting is pressing SPACE again.\nThe final game should be inside a markdown section in Python. Check your code for errors and fix them before the final markdown section.<end_of_turn>\n<start_of_turn>model\n"

L’entrée complète de notre https://unsloth.ai/blog/deepseekr1-dynamic article de blog 1.58bit est :

N’oubliez pas de supprimer <bos> car Gemma 3 ajoute automatiquement un <bos> !

<start_of_turn>user
Créez un jeu Flappy Bird en Python. Vous devez inclure les éléments suivants :
1. Vous devez utiliser pygame.
2. La couleur de fond doit être choisie aléatoirement et être une teinte claire. Commencez avec une couleur bleu clair.
3. Appuyer plusieurs fois sur ESPACE accélérera l'oiseau.
4. La forme de l'oiseau doit être choisie aléatoirement parmi un carré, un cercle ou un triangle. La couleur doit être choisie aléatoirement parmi des couleurs sombres.
5. Placez en bas un sol coloré en brun foncé ou en jaune, choisi aléatoirement.
6. Affichez un score en haut à droite. Incrémentez-le si vous passez les tuyaux sans les toucher.
7. Créez des tuyaux espacés aléatoirement avec suffisamment d'espace. Coloriez-les aléatoirement en vert foncé, marron clair ou gris foncé.
8. Lorsque vous perdez, affichez le meilleur score. Faites apparaître le texte à l'intérieur de l'écran. Appuyer sur q ou Échap quittera le jeu. Pour recommencer, appuyez à nouveau sur ESPACE.
Le jeu final devrait se trouver dans une section markdown en Python. Vérifiez votre code pour des erreur

🦥 Fine-tuning de Gemma 3 dans Unsloth

Unsloth est le seul framework qui fonctionne sur des machines float16 pour l’inférence et l’entraînement de Gemma 3. Cela signifie que les notebooks Colab avec des GPU Tesla T4 gratuits fonctionnent aussi !

• Essayez notre nouveau notebook Gemma 3 (270M) qui rend le modèle de 270M paramètres très doué pour jouer aux échecs et peut prédire le prochain coup d’échecs.

• Fine-tunez Gemma 3 (4B) à l’aide de nos notebooks pour : Texte ou Vision

• Ou fine-tunez Gemma 3n (E4B) avec Texte • Vision • Audio

Lors d’une tentative de fine-tuning complet (FFT) de Gemma 3, toutes les couches passent par défaut en float32 sur les appareils float16. Unsloth attend du float16 et effectue un upcast dynamiquement. Pour corriger cela, exécutez model.to(torch.float16) après le chargement, ou utilisez un GPU avec prise en charge du bfloat16.

Corrections de fine-tuning d’Unsloth

Notre solution dans Unsloth repose sur 3 axes :

1. Conserver toutes les activations intermédiaires au format bfloat16 - peut être en float32, mais cela utilise 2x plus de VRAM ou de RAM (via le gradient checkpointing asynchrone d’Unsloth)

2. Effectuer toutes les multiplications matricielles en float16 avec les tensor cores, tout en faisant manuellement l’upcasting / downcasting sans l’aide de l’autocast de précision mixte de Pytorch.

3. Upcaster toutes les autres options qui n’ont pas besoin de multiplications matricielles (layernorms) en float32.

🤔 Analyse des corrections de Gemma 3

Gemma 3 1B à 27B dépasse le maximum de 65504 du float16

Tout d’abord, avant de fine-tuner ou d’exécuter Gemma 3, nous avons constaté qu’en utilisant la précision mixte float16, les gradients et les activations deviennent infinis malheureusement. Cela se produit sur les GPU T4, la série RTX 20x et les GPU V100, où ils ne disposent que de tensor cores float16.

Pour les GPU plus récents comme les RTX 30x ou supérieurs, les A100, H100, etc., ces GPU disposent de tensor cores bfloat16, donc ce problème ne se produit pas ! Mais pourquoi ?

Wikipédia https://en.wikipedia.org/wiki/Bfloat16_floating-point_format

Float16 ne peut représenter que des nombres allant jusqu’à 65504, tandis que le bfloat16 peut représenter d’énormes nombres allant jusqu’à 10^38! Mais notez que les deux formats de nombres n’utilisent que 16 bits ! Cela s’explique par le fait que le float16 alloue plus de bits afin de mieux représenter les décimales plus petites, tandis que le bfloat16 ne peut pas bien représenter les fractions.

Mais pourquoi float16 ? Utilisons simplement float32 ! Mais malheureusement, le float32 sur les GPU est très lent pour les multiplications matricielles - parfois 4 à 10 fois plus lent ! Donc nous ne pouvons pas faire cela.