Guide de fine-tuning de Gemma 4

Entraînez Gemma 4 de Google avec Unsloth.

Vous pouvez désormais affiner Gemma 4 E2B, E4B, 26B-A4B et 31B avec Unsloth. La prise en charge inclut tous les vision, texte, audio et l’affinage RL.

Affiner Gemma 4 via nos gratuits notebooks Google Colab:

Gemma-4-E2B (Vision)

E2B (Texte)

E2B (Audio)

E2B (Inférence)

Si vous voulez préserver la capacité de raisonnement vous pouvez mélanger des exemples de type raisonnement avec des réponses directes (conservez au minimum 75 % de raisonnement). Sinon, vous pouvez l’émettre entièrement.
L’affinage complet (FFT) fonctionne aussi. Il utilisera 4x plus de VRAM.
Gemma 4 est puissant pour l’affinage multilingue, car il prend en charge 140 langues.
Après l’affinage, vous pouvez exporter vers GGUF (pour llama.cpp/Unsloth/Ollama/etc.)

Si vous utilisez une version plus ancienne (ou si vous affinez localement), mettez d’abord à jour :

Unsloth Studio :

unsloth studio update

Unsloth basé sur le code :

pip install --upgrade --force-reinstall --no-cache-dir unsloth unsloth_zoo

Démarrage rapide

🦥 Guide d’Unsloth Studio

Gemma 4 peut être exécuté et affiné dans Unsloth Studio, notre nouvelle interface web open source pour l’IA locale. Avec Unsloth Studio, vous pouvez exécuter des modèles localement sur MacOS, Windows, Linux et :

Entraîner des LLM 2x plus vite avec 70 % de VRAM en moins
Rechercher, télécharger, exécuter des GGUF et des modèles safetensor
Auto-réparation appel d’outils + recherche web
Exécution de code (Python, Bash)
Inférence automatique réglage des paramètres (temp, top-p, etc.)
Inférence CPU + GPU rapide via llama.cpp

Installer Unsloth

Exécutez dans votre terminal :

MacOS, Linux, WSL :

curl -fsSL https://unsloth.ai/install.sh | sh

Windows PowerShell :

irm https://unsloth.ai/install.ps1 | iex

L’installation sera rapide et prendra environ 1 à 2 minutes.

Lancer Unsloth

MacOS, Linux, WSL et Windows :

unsloth studio -H 0.0.0.0 -p 8888

Puis ouvrez http://localhost:8888 dans votre navigateur.

Entraîner Gemma 4

Au premier lancement, vous devrez créer un mot de passe pour sécuriser votre compte et vous reconnecter plus tard. Vous verrez ensuite un bref assistant d’intégration pour choisir un modèle, un jeu de données et des paramètres de base. Vous pouvez le passer à tout moment.

Recherchez Gemma 4 dans la barre de recherche et sélectionnez le modèle et le jeu de données souhaités. Ensuite, ajustez vos hyperparamètres et la longueur de contexte selon vos besoins.

Surveiller la progression de l’entraînement

Après avoir cliqué sur démarrer l’entraînement, vous pourrez surveiller et observer la progression de l’entraînement du modèle. La perte d’entraînement devrait diminuer régulièrement. Une fois terminé, le modèle sera automatiquement enregistré.

Exporter votre modèle affiné

Une fois terminé, Unsloth Studio vous permet d’exporter le modèle vers GGUF, safetensor, etc.

🦥 Guide d’Unsloth Core (basé sur le code)

Ci-dessous se trouve une recette SFT minimale (fonctionne pour l’affinage « texte uniquement »). Voir aussi notre section d’affinage vision .

Si vous souhaitez faire GRPO, cela fonctionne dans Unsloth si vous désactivez l’inférence rapide vLLM et utilisez à la place l’inférence Unsloth. Suivez nos exemples de notebooks Vision RL .

from unsloth import FastLanguageModel
import torch
from datasets import load_dataset
from trl import SFTTrainer, SFTConfig

max_seq_length = 2048  # commencez petit ; augmentez après que cela fonctionne

# Jeu de données d’exemple (remplacez-le par le vôtre). Nécessite une colonne "text".
url = "https://huggingface.co/datasets/laion/OIG/resolve/main/unified_chip2.jsonl"
dataset = load_dataset("json", data_files={"train": url}, split="train")

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "google/gemma-4-E4b-it",
    max_seq_length = max_seq_length,
    load_in_4bit = False,     # QLoRA MoE non recommandé, le 27B dense convient
    load_in_16bit = True,     # LoRA bf16/16 bits
    full_finetuning = False,
)

model = FastLanguageModel.get_peft_model(
    model,
    r = 16,
    target_modules = [
        "q_proj", "k_proj", "v_proj", "o_proj",
        "gate_proj", "up_proj", "down_proj",
    ],
    lora_alpha = 16,
    lora_dropout = 0,
    bias = "none",
    # Le checkpointing « unsloth » est destiné aux contextes très longs + VRAM réduite
    use_gradient_checkpointing = "unsloth",
    random_state = 3407,
    max_seq_length = max_seq_length,
)

trainer = SFTTrainer(
    model = model,
    train_dataset = dataset,
    tokenizer = tokenizer,
    args = SFTConfig(
        max_seq_length = max_seq_length,
        per_device_train_batch_size = 1,
        gradient_accumulation_steps = 4,
        warmup_steps = 10,
        max_steps = 100,
        logging_steps = 1,
        output_dir = "outputs_qwen35",
        optim = "adamw_8bit",
        seed = 3407,
        dataset_num_proc = 1,
    ),
)

trainer.train()

Si vous manquez de mémoire (OOM) :

Réduisez per_device_train_batch_size à 1 et/ou réduisez max_seq_length.
Conservez use_gradient_checkpointing="unsloth" activé (il est conçu pour réduire l’utilisation de VRAM et étendre la longueur du contexte).

Exemple de chargeur pour MoE (LoRA bf16) :

import os
import torch
from unsloth import FastModel

model, tokenizer = FastModel.from_pretrained(
    model_name = "unsloth/Gemma-4-26B-A4B-it",
    max_seq_length = 2048,
    load_in_4bit = False,     # QLoRA MoE non recommandé, le 27B dense convient
    load_in_16bit = True,     # LoRA bf16/16 bits
    full_finetuning = False,
)

Une fois chargé, vous ajouterez des adaptateurs LoRA et entraînerez le modèle de manière similaire à l’exemple SFT ci-dessus.

Affinage MoE (26B-A4B)

Le 26B-A4B est le compromis vitesse / qualité de la gamme Gemma 4. Comme il s’agit d’un modèle MoE avec seulement un sous-ensemble de paramètres actifs par jeton, une approche d’affinage prudente consiste à :

utiliser LoRA plutôt qu’un affinage complet
préférer LoRA 16 bits / bf16 si la mémoire le permet
commencer d’abord avec des contextes plus courts et des rangs plus petits
augmenter l’échelle uniquement une fois le pipeline stable

Si votre objectif est la meilleure qualité et que vous avez plus de mémoire, utilisez plutôt 31B .

Affinage multimodal (E2B / E4B)

Comme E2B et E4B prennent en charge l’image et l’audio, ce sont les principales variantes de Gemma 4 pour l’affinage multimodal.

chargez le modèle multimodal avec FastVisionModel
conservez finetune_vision_layers = False au début
affinez uniquement les couches de langage, d’attention et MLP
activez les couches vision ou audio plus tard si votre tâche en a besoin

Exemple LoRA multimodal Gemma 4 :

from unsloth import FastVisionModel
from unsloth.trainer import UnslothVisionDataCollator
from trl import SFTTrainer, SFTConfig

model, tokenizer = FastVisionModel.from_pretrained(
    model_name = "google-gemma-4-31b-it",
    max_seq_length = 2048,
    load_in_4bit = False,
    use_gradient_checkpointing = "unsloth",
)

model = FastVisionModel.get_peft_model(
    model,
    finetune_vision_layers     = False,  # Commencez en texte uniquement si la VRAM est limitée
    finetune_language_layers   = True,
    finetune_attention_modules = True,
    finetune_mlp_modules       = True,
    r = 16,
    lora_alpha = 16,
    lora_dropout = 0,
    bias = "none",
    target_modules = "all-linear",
)

trainer = SFTTrainer(
    model = model,
    tokenizer = tokenizer,
    data_collator = UnslothVisionDataCollator(model, tokenizer),
    train_dataset = dataset,
    args = SFTConfig(
        per_device_train_batch_size = 1,
        gradient_accumulation_steps = 4,
        learning_rate = 2e-4,
        output_dir = "outputs_gemma4_mm",
    ),
)

trainer.train()

Format d’exemple d’image

Rappelez-vous : pour les prompts multimodaux Gemma 4, placez l’image avant l’instruction textuelle.

{
  "messages": [
    {
      "role": "user",
      "content": [
        {"type": "image", "image": "path_or_image_object"},
        {"type": "text", "text": "Extrayez tout le texte de ce reçu. Retournez les lignes d’articles, le total, le commerçant et la date sous forme de JSON."}
      ]
    },
    {
      "role": "assistant",
      "content": [
        {"type": "text", "text": "{\"merchant\": \"Example Store\", \"total\": \"19.99\"}"}
      ]
    }
  ]
}

Format d’exemple audio

L’audio est réservé à E2B / E4B uniquement. Gardez les clips courts et spécifiques à la tâche.

{
  "messages": [
    {
      "role": "user",
      "content": [
        {"type": "audio", "audio": "path_or_audio_object"},
        {"type": "text", "text": "Transcrivez le segment de discours suivant en anglais sous forme de texte anglais. N’affichez que la transcription."}
      ]
    },
    {
      "role": "assistant",
      "content": [
        {"type": "text", "text": "Bonjour à tous et bon retour."}
      ]
    }
  ]
}

Enregistrement / export du modèle affiné

Vous pouvez consulter nos guides spécifiques d’inférence / déploiement pour Unsloth Studio, llama.cpp, vLLM, llama-server, Ollama ou SGLang.

Enregistrer en GGUF

Unsloth prend en charge l’enregistrement direct en GGUF :

model.save_pretrained_gguf("directory", tokenizer, quantization_method = "q4_k_m")
model.save_pretrained_gguf("directory", tokenizer, quantization_method = "q8_0")
model.save_pretrained_gguf("directory", tokenizer, quantization_method = "f16")

Ou poussez les GGUF vers Hugging Face :

model.push_to_hub_gguf("hf_username/directory", tokenizer, quantization_method = "q4_k_m")
model.push_to_hub_gguf("hf_username/directory", tokenizer, quantization_method = "q8_0")

Si le modèle exporté se comporte moins bien dans un autre environnement d’exécution, Unsloth signale la cause la plus fréquente : mauvais modèle de conversation / jeton EOS au moment de l’inférence (vous devez utiliser le même modèle de conversation que celui avec lequel vous avez entraîné).

Pour plus de détails, lisez nos guides d’inférence :

🖥️Inférence et déploiement GGUF & llama.cpp

Model Export vLLM

Bonnes pratiques des données Gemma 4

Gemma 4 comporte quelques détails de formatage que vous devez garder à l’esprit.

1. Utilisez les rôles de conversation standard

Gemma 4 utilise les rôles standard :

system
user
assistant

Cela signifie que votre jeu de données SFT doit être rédigé dans un format de chat classique plutôt que dans les anciens formats de rôles spécifiques à Gemma.

2. Le mode réflexion est explicite

Pour activer le mode réflexion, placez <|think|> au début du prompt système.

Réflexion activée :

<|think|>
Vous êtes un assistant de codage attentif. Expliquez votre réponse clairement.

Réflexion désactivée :

Vous êtes un assistant de codage attentif. Expliquez votre réponse clairement.

Si vous souhaitez conserver un comportement de type réflexion pendant le SFT :

gardez un format cohérent
décidez si vous voulez entraîner sur des blocs de réflexion visibles ou sur des réponses finales uniquement
ne pas mélanger plusieurs formats de réflexion incompatibles dans le même jeu de données

Pour la plupart des assistants de production, la configuration la plus simple consiste à affiner sur la réponse finale visible uniquement.

3. Règle des conversations à plusieurs tours

Pour les conversations à plusieurs tours, ne gardez que la réponse finale visible dans l’historique de conversation. Ne pas réinjectez pas les blocs de réflexion précédents dans les tours suivants.

4. Le contenu multimodal doit venir en premier

Pour les prompts multimodaux Gemma 4, placez :

l’image avant le texte
l’audio avant le texte
les images vidéo avant le texte

Cela doit aussi se refléter dans vos données d’entraînement.

PrécédentGemma 4 SuivantQwen3.5

Mis à jour il y a 5 heures

Ce contenu vous a-t-il été utile ?

hashtagDémarrage rapide

hashtag🦥 Guide d’Unsloth Studio

hashtagInstaller Unsloth

hashtagLancer Unsloth

hashtagEntraîner Gemma 4

hashtagSurveiller la progression de l’entraînement

hashtagExporter votre modèle affiné

hashtag🦥 Guide d’Unsloth Core (basé sur le code)

hashtagAffinage MoE (26B-A4B)

hashtagAffinage multimodal (E2B / E4B)

hashtagExemple LoRA multimodal Gemma 4 :

hashtagFormat d’exemple d’image

hashtagFormat d’exemple audio

hashtagEnregistrement / export du modèle affiné

hashtagEnregistrer en GGUF

hashtagBonnes pratiques des données Gemma 4

hashtag1. Utilisez les rôles de conversation standard

hashtag2. Le mode réflexion est explicite

hashtag3. Règle des conversations à plusieurs tours

hashtag4. Le contenu multimodal doit venir en premier

Démarrage rapide

🦥 Guide d’Unsloth Studio

Installer Unsloth

Lancer Unsloth

Entraîner Gemma 4

Surveiller la progression de l’entraînement

Exporter votre modèle affiné

🦥 Guide d’Unsloth Core (basé sur le code)

Affinage MoE (26B-A4B)

Affinage multimodal (E2B / E4B)

Exemple LoRA multimodal Gemma 4 :

Format d’exemple d’image

Format d’exemple audio

Enregistrement / export du modèle affiné

Enregistrer en GGUF

Bonnes pratiques des données Gemma 4

1. Utilisez les rôles de conversation standard

2. Le mode réflexion est explicite

3. Règle des conversations à plusieurs tours

4. Le contenu multimodal doit venir en premier