Gemma 4 Feinabstimmungsleitfaden

Trainiere Gemma 4 von Google mit Unsloth.

Sie können jetzt Googles Gemma 4 E2B, E4B, 26B-A4B und 31B mit Unsloth. Die Unterstützung umfasst alle Vision--, Text-, Audio- und RL-Fine-Tuning.

Fine-Tuning Gemma 4 über unsere kostenlosen Google Colab-Notebooks:

Gemma-4-E2B (Vision)

E2B (Text)

E2B (Audio)

E2B (Inference)

Wenn Sie Schlussfolgerungsfähigkeit bewahren möchten, können Sie Beispiele im Reasoning-Stil mit direkten Antworten mischen (mindestens 75 % Reasoning beibehalten). Andernfalls können Sie es vollständig ausgeben.
Full Fine-Tuning (FFT) funktioniert ebenfalls. Es verwendet 4x mehr VRAM.
Gemma 4 ist leistungsstark für mehrsprachiges Fine-Tuning, da es 140 Sprachen unterstützt.
Nach dem Fine-Tuning können Sie exportieren nach GGUF (für llama.cpp/Unsloth/Ollama/usw.)

Wenn Sie eine ältere Version verwenden (oder lokal Fine-Tuning durchführen), aktualisieren Sie zuerst:

Unsloth Studio:

unsloth studio update

Unsloth codebasiert:

pip install --upgrade --force-reinstall --no-cache-dir unsloth unsloth_zoo

Schnellstart

🦥 Unsloth Studio-Leitfaden

Gemma 4 kann in Unsloth Studioausgeführt und feinabgestimmt werden, unserer neuen Open-Source-Weboberfläche für lokale KI. Mit Unsloth Studio können Sie Modelle lokal ausführen auf MacOS, Windows, Linux und:

LLMs trainieren 2x schneller mit 70 % weniger VRAM
Suchen, herunterladen, GGUFs ausführen und Safetensor-Modelle
Selbstheilende Tool-Aufrufe + Websuche
Codeausführung (Python, Bash)
Automatische Inferenz Parameter-Tuning (Temp, Top-p usw.)
Schnelle CPU- + GPU-Inferenz über llama.cpp

Unsloth installieren

Führen Sie in Ihrem Terminal aus:

MacOS, Linux, WSL:

curl -fsSL https://unsloth.ai/install.sh | sh

Windows PowerShell:

irm https://unsloth.ai/install.ps1 | iex

Die Installation geht schnell und dauert ca. 1–2 Minuten.

Unsloth starten

MacOS, Linux, WSL und Windows:

unsloth studio -H 0.0.0.0 -p 8888

Dann öffnen Sie http://localhost:8888 in Ihrem Browser.

Gemma 4 trainieren

Beim ersten Start müssen Sie ein Passwort erstellen, um Ihr Konto zu sichern, und sich später erneut anmelden. Anschließend sehen Sie einen kurzen Einrichtungsassistenten, um ein Modell, einen Datensatz und grundlegende Einstellungen auszuwählen. Sie können ihn jederzeit überspringen.

Suchen Sie in der Suchleiste nach Gemma 4 und wählen Sie Ihr gewünschtes Modell und Ihren gewünschten Datensatz aus. Passen Sie als Nächstes Ihre Hyperparameter und die Kontextlänge nach Wunsch an.

Trainingsfortschritt überwachen

Nachdem Sie auf Training starten geklickt haben, können Sie den Trainingsfortschritt des Modells überwachen und beobachten. Der Trainingsverlust sollte stetig sinken. Sobald das Training abgeschlossen ist, wird das Modell automatisch gespeichert.

Ihr feinabgestimmtes Modell exportieren

Sobald der Vorgang abgeschlossen ist, können Sie mit Unsloth Studio das Modell in GGUF-, Safetensor- usw. Formate exportieren.

🦥 Unsloth Core (codebasiert)-Leitfaden

Unten steht ein minimales SFT-Rezept (funktioniert für „text-only“-Fine-Tuning). Siehe auch unseren Vision-Fine-Tuning Abschnitt.

Wenn Sie GRPOmachen möchten, funktioniert es in Unsloth, wenn Sie die schnelle vLLM-Inferenz deaktivieren und stattdessen die Unsloth-Inferenz verwenden. Folgen Sie unseren Vision-RL Notebook-Beispielen.

from unsloth import FastLanguageModel
import torch
from datasets import load_dataset
from trl import SFTTrainer, SFTConfig

max_seq_length = 2048  # klein anfangen; nach erfolgreichem Test erhöhen

# Beispieldatensatz (durch Ihren ersetzen). Benötigt eine "text"-Spalte.
url = "https://huggingface.co/datasets/laion/OIG/resolve/main/unified_chip2.jsonl"
dataset = load_dataset("json", data_files={"train": url}, split="train")

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "google/gemma-4-E4b-it",
    max_seq_length = max_seq_length,
    load_in_4bit = False,     # MoE QLoRA nicht empfohlen, dichtes 27B ist in Ordnung
    load_in_16bit = True,     # bf16/16-Bit LoRA
    full_finetuning = False,
)

model = FastLanguageModel.get_peft_model(
    model,
    r = 16,
    target_modules = [
        "q_proj", "k_proj", "v_proj", "o_proj",
        "gate_proj", "up_proj", "down_proj",
    ],
    lora_alpha = 16,
    lora_dropout = 0,
    bias = "none",
    # "unsloth"-Checkpointing ist für sehr langen Kontext + geringeren VRAM gedacht
    use_gradient_checkpointing = "unsloth",
    random_state = 3407,
    max_seq_length = max_seq_length,
)

trainer = SFTTrainer(
    model = model,
    train_dataset = dataset,
    tokenizer = tokenizer,
    args = SFTConfig(
        max_seq_length = max_seq_length,
        per_device_train_batch_size = 1,
        gradient_accumulation_steps = 4,
        warmup_steps = 10,
        max_steps = 100,
        logging_steps = 1,
        output_dir = "outputs_qwen35",
        optim = "adamw_8bit",
        seed = 3407,
        dataset_num_proc = 1,
    ),
)

trainer.train()

Wenn Sie OOM erhalten:

Reduzieren Sie per_device_train_batch_size auf 1 und/oder verringern Sie max_seq_length.
Lassen Sie use_gradient_checkpointing="unsloth" eingeschaltet (es ist dafür ausgelegt, den VRAM-Verbrauch zu reduzieren und die Kontextlänge zu erweitern).

Ladebeispiel für MoE (bf16 LoRA):

import os
import torch
from unsloth import FastModel

model, tokenizer = FastModel.from_pretrained(
    model_name = "unsloth/Gemma-4-26B-A4B-it",
    max_seq_length = 2048,
    load_in_4bit = False,     # MoE QLoRA nicht empfohlen, dichtes 27B ist in Ordnung
    load_in_16bit = True,     # bf16/16-Bit LoRA
    full_finetuning = False,
)

Sobald es geladen ist, hängen Sie LoRA-Adapter an und trainieren ähnlich wie im obigen SFT-Beispiel.

MoE-Fine-Tuning (26B-A4B)

Das 26B-A4B Modell ist der Mittelweg zwischen Geschwindigkeit und Qualität in der Gemma-4-Reihe. Da es sich um ein MoE Modell handelt, bei dem pro Token nur eine Teilmenge der Parameter aktiv ist, ist ein konservativer Fine-Tuning-Ansatz:

verwenden Sie LoRA anstatt Full Fine-Tuning
bevorzugen Sie 16-Bit / bf16 LoRA wenn der Speicher es zulässt
beginnen Sie zuerst mit kürzeren Kontexten und kleineren Rängen
skalieren Sie erst hoch, wenn die Pipeline stabil ist

Wenn Ihr Ziel die höchste Qualität ist und Sie mehr Speicher haben, verwenden Sie stattdessen 31B .

Multimodales Fine-Tuning (E2B / E4B)

Da E2B und E4B unterstützen Bild- und Audio-sind sie die wichtigsten Gemma-4-Varianten für multimodales Fine-Tuning.

laden Sie das multimodale Modell mit FastVisionModel
behalten Sie finetune_vision_layers = False zuerst
das Fine-Tuning nur der Sprach-, Attention- und MLP-Schichten
aktivieren Sie Vision- oder Audioschichten später, wenn Ihre Aufgabe es erfordert

Gemma 4 Multimodal LoRA-Beispiel:

from unsloth import FastVisionModel
from unsloth.trainer import UnslothVisionDataCollator
from trl import SFTTrainer, SFTConfig

model, tokenizer = FastVisionModel.from_pretrained(
    model_name = "google-gemma-4-31b-it",
    max_seq_length = 2048,
    load_in_4bit = False,
    use_gradient_checkpointing = "unsloth",
)

model = FastVisionModel.get_peft_model(
    model,
    finetune_vision_layers     = False,  # Zuerst nur Text, wenn der VRAM begrenzt ist
    finetune_language_layers   = True,
    finetune_attention_modules = True,
    finetune_mlp_modules       = True,
    r = 16,
    lora_alpha = 16,
    lora_dropout = 0,
    bias = "none",
    target_modules = "all-linear",
)

trainer = SFTTrainer(
    model = model,
    tokenizer = tokenizer,
    data_collator = UnslothVisionDataCollator(model, tokenizer),
    train_dataset = dataset,
    args = SFTConfig(
        per_device_train_batch_size = 1,
        gradient_accumulation_steps = 4,
        learning_rate = 2e-4,
        output_dir = "outputs_gemma4_mm",
    ),
)

trainer.train()

Bildbeispielformat

Denken Sie daran: Bei multimodalen Gemma-4-Prompts setzen Sie das Bild vor die Textanweisung.

{
  "messages": [
    {
      "role": "user",
      "content": [
        {"type": "image", "image": "path_or_image_object"},
        {"type": "text", "text": "Extrahiere den gesamten Text aus diesem Beleg. Gib Positionen, Gesamtsumme, Händler und Datum als JSON zurück."}
      ]
    },
    {
      "role": "assistant",
      "content": [
        {"type": "text", "text": "{\"merchant\": \"Beispielgeschäft\", \"total\": \"19.99\"}"}
      ]
    }
  ]
}

Audio-Beispielformat

Audio ist nur für E2B / E4B gedacht. Halten Sie Clips kurz und auf die Aufgabe zugeschnitten.

{
  "messages": [
    {
      "role": "user",
      "content": [
        {"type": "audio", "audio": "path_or_audio_object"},
        {"type": "text", "text": "Transkribiere den folgenden Sprachabschnitt auf Englisch in englischen Text. Gib nur die Transkription aus."}
      ]
    },
    {
      "role": "assistant",
      "content": [
        {"type": "text", "text": "Hallo zusammen und willkommen zurück."}
      ]
    }
  ]
}

Feinabgestimmtes Modell speichern / exportieren

Sie können unsere speziellen Inferenz-/Bereitstellungsanleitungen einsehen für Unsloth Studio, llama.cpp, vLLM, llama-server, Ollama oder SGLang.

In GGUF speichern

Unsloth unterstützt das direkte Speichern in GGUF:

model.save_pretrained_gguf("directory", tokenizer, quantization_method = "q4_k_m")
model.save_pretrained_gguf("directory", tokenizer, quantization_method = "q8_0")
model.save_pretrained_gguf("directory", tokenizer, quantization_method = "f16")

Oder pushen Sie GGUFs zu Hugging Face:

model.push_to_hub_gguf("hf_username/directory", tokenizer, quantization_method = "q4_k_m")
model.push_to_hub_gguf("hf_username/directory", tokenizer, quantization_method = "q8_0")

Wenn sich das exportierte Modell in einer anderen Laufzeitumgebung schlechter verhält, markiert Unsloth die häufigste Ursache: falsches Chat-Template / EOS-Token zur Inferenzzeit (Sie müssen dasselbe Chat-Template verwenden, mit dem Sie trainiert haben).

Für mehr Details lesen Sie unsere Inferenzleitfäden:

🖥️Inferenz & Bereitstellung GGUF & llama.cpp

Model Export vLLM

Gemma 4 Best Practices für Daten

Gemma 4 hat einige Formatierungsdetails, die Sie beachten müssen.

1. Verwenden Sie standardmäßige Chat-Rollen

Gemma 4 verwendet die Standardrollen:

system
user
assistant

Das bedeutet, dass Ihr SFT-Datensatz im normalen Chat-Format geschrieben sein sollte und nicht in älteren Gemma-spezifischen Rollenformaten.

2. Denkmodus ist explizit

Um den Denkmodus zu aktivieren, setzen Sie <|think|> an den Anfang des System-Prompts.

Denken aktiviert:

<|think|>
Sie sind ein sorgfältiger Coding-Assistent. Erklären Sie Ihre Antwort klar.

Denken deaktiviert:

Sie sind ein sorgfältiger Coding-Assistent. Erklären Sie Ihre Antwort klar.

Wenn Sie das denkstilartige Verhalten während SFT beibehalten möchten:

halten Sie das Format konsistent
entscheiden Sie, ob Sie trainieren möchten auf sichtbaren Gedankenblöcken oder auf nur endgültigen Antworten
tun Sie nicht mehrere inkompatible Gedankenformate im selben Datensatz mischen

Für die meisten Produktionsassistenten ist die einfachste Einrichtung, auf der nur final sichtbaren Antwort.

3. Regel für Mehrfach-Dialoge

Bei mehrstufigen Gesprächen behalten Sie nur die final sichtbare Antwort im Gesprächsverlauf. Fügen Sie Sie frühere Gedankenblöcke nicht wieder in spätere Durchgänge ein.

4. Multimodale Inhalte sollten zuerst kommen

Für multimodale Gemma-4-Prompts setzen Sie:

Bild vor Text
Audio vor Text
Videoframes vor Text

Das sollte sich auch in Ihren Trainingsdaten widerspiegeln.

VorherigeGemma 4 NächsteQwen3.5

Zuletzt aktualisiert vor 4 Stunden

War das hilfreich?

hashtagSchnellstart

hashtag🦥 Unsloth Studio-Leitfaden

hashtagUnsloth installieren

hashtagUnsloth starten

hashtagGemma 4 trainieren

hashtagTrainingsfortschritt überwachen

hashtagIhr feinabgestimmtes Modell exportieren

hashtag🦥 Unsloth Core (codebasiert)-Leitfaden

hashtagMoE-Fine-Tuning (26B-A4B)

hashtagMultimodales Fine-Tuning (E2B / E4B)

hashtagGemma 4 Multimodal LoRA-Beispiel:

hashtagBildbeispielformat

hashtagAudio-Beispielformat

hashtagFeinabgestimmtes Modell speichern / exportieren

hashtagIn GGUF speichern

hashtagGemma 4 Best Practices für Daten

hashtag1. Verwenden Sie standardmäßige Chat-Rollen

hashtag2. Denkmodus ist explizit

hashtag3. Regel für Mehrfach-Dialoge

hashtag4. Multimodale Inhalte sollten zuerst kommen

Schnellstart

🦥 Unsloth Studio-Leitfaden

Unsloth installieren

Unsloth starten

Gemma 4 trainieren

Trainingsfortschritt überwachen

Ihr feinabgestimmtes Modell exportieren

🦥 Unsloth Core (codebasiert)-Leitfaden

MoE-Fine-Tuning (26B-A4B)

Multimodales Fine-Tuning (E2B / E4B)

Gemma 4 Multimodal LoRA-Beispiel:

Bildbeispielformat

Audio-Beispielformat

Feinabgestimmtes Modell speichern / exportieren

In GGUF speichern

Gemma 4 Best Practices für Daten

1. Verwenden Sie standardmäßige Chat-Rollen

2. Denkmodus ist explizit

3. Regel für Mehrfach-Dialoge

4. Multimodale Inhalte sollten zuerst kommen