Gemma 3 - Anleitung zur Ausführung

Wie man Gemma 3 effektiv mit unseren GGUFs auf llama.cpp, Ollama, Open WebUI ausführt und wie man mit Unsloth feinabstimmt!

Google veröffentlicht Gemma 3 mit einem neuen 270M-Modell und den vorherigen Größen 1B, 4B, 12B und 27B. Die 270M und 1B sind nur für Text, während die größeren Modelle sowohl Text als auch Vision verarbeiten. Wir stellen GGUFs bereit sowie eine Anleitung, wie man es effizient ausführt und wie man feinjustiert & macht RL mit Gemma 3!

NEU 14. Aug. 2025 Update: Probieren Sie unser Fine-Tuning Gemma 3 (270M) Notebook und GGUFs zum Ausführen.

Siehe auch unser Gemma 3n Anleitung.

AusführungsanleitungFeinabstimmungsanleitung

Unsloth ist das einzige Framework, das auf float16-Maschinen für Gemma 3 Inferenz und Training funktioniert. Das bedeutet, dass Colab-Notebooks mit kostenlosen Tesla T4-GPUs ebenfalls funktionieren!

• Feinjustieren Sie Gemma 3 (4B) mit Vision-Unterstützung mithilfe unseres kostenloses Colab-Notebook

Laut dem Gemma-Team ist die optimale Konfiguration für die Inferenz temperature = 1.0, top_k = 64, top_p = 0.95, min_p = 0.0

Unsloth Gemma 3 Uploads mit optimalen Konfigurationen:

GGUF	Unsloth Dynamisch 4-bit Instruct	16-Bit Instruct
270M - neu 1B 4B 12B 27B	270M 1B 4B 12B 27B	270M 1B 4B 12B 27B

⚙️ Empfohlene Inferenz-Einstellungen

Laut dem Gemma-Team sind die offiziell empfohlenen Einstellungen für die Inferenz:

• Temperatur von 1.0

• Top_K von 64

• Min_P von 0,00 (optional, aber 0,01 funktioniert gut, der llama.cpp-Standard ist 0,1)

• Top_P von 0.95

• Repetition Penalty von 1.0. (1.0 bedeutet deaktiviert in llama.cpp und transformers)

• Chat-Vorlage:

  <bos><start_of_turn>user\nHello!<end_of_turn>\n<start_of_turn>model\nHey there!<end_of_turn>\n<start_of_turn>user\nWhat is 1+1?<end_of_turn>\n<start_of_turn>model\n

• Chat-Vorlage mit \nZeilenumbrüchen gerendert (außer dem letzten)

<bos><start_of_turn>user
Hello!<end_of_turn>
<start_of_turn>model
Hey there!<end_of_turn>
<start_of_turn>user
What is 1+1?<end_of_turn>
<start_of_turn>model\n

llama.cpp und andere Inferenz-Engines fügen automatisch ein <bos> hinzu - FÜGEN SIE NICHT ZWEI <bos>-Token HINZU! Sie sollten das <bos> beim Prompten des Modells ignorieren!

✨Gemma 3 auf Ihrem Telefon ausführen

Um die Modelle auf Ihrem Telefon auszuführen, empfehlen wir jede mobile App, die GGUFs lokal auf Edge-Geräten wie Telefonen ausführen kann. Nach dem Fine-Tuning können Sie es als GGUF exportieren und dann lokal auf Ihrem Telefon ausführen. Stellen Sie sicher, dass Ihr Telefon genügend RAM/Leistung hat, um die Modelle zu verarbeiten, da es überhitzen kann. Wir empfehlen daher die Verwendung von Gemma 3 270M oder den Gemma 3n-Modellen für diesen Anwendungsfall. Sie können das Open-Source-Projekt AnythingLLM's mobile App, die Sie herunterladen können auf Android hier oder ChatterUI, welche großartige Apps zum Ausführen von GGUFs auf Ihrem Telefon sind.

Denken Sie daran, dass Sie den Modellnamen 'gemma-3-27b-it-GGUF' in jeden Gemma-Modellnamen wie 'gemma-3-270m-it-GGUF:Q8_K_XL' für alle Tutorials ändern können.

🦙 Tutorial: Wie man Gemma 3 in Ollama ausführt

1. In Ollama ausführen Installieren Sie falls Sie es noch nicht getan haben!

apt-get update
siehe hier
apt-get install pciutils -y

1. curl -fsSL https://ollama.com/install.sh | sh Führen Sie das Modell aus! Beachten Sie, dass Sieollama serve in einem anderen Terminal aufrufen können, wenn es fehlschlägt! Wir fügen alle unsere Fixes und vorgeschlagenen Parameter (Temperatur usw.) in in unserem Hugging Face-Upload! Sie können den Modellnamen 'gemma-3-27b-it-GGUF' in jeden Gemma-Modellnamen wie 'gemma-3-270m-it-GGUF:Q8_K_XL' ändern.

ollama run hf.co/unsloth/gemma-3-27b-it-GGUF:Q4_K_XL

📖 Tutorial: Wie man Gemma 3 27B in llama.cpp ausführt

1. Hole dir die neueste llama.cpp auf GitHub hier. Du kannst auch den Build-Anweisungen unten folgen. Ändere -DGGML_CUDA=ON zu -DGGML_CUDA=OFF wenn du keine GPU hast oder nur CPU-Inferenz möchtest. Für Apple Mac / Metal-Geräte, setze -DGGML_CUDA=OFF dann wie gewohnt fort - Metal-Unterstützung ist standardmäßig aktiviert.

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=ON -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-quantize llama-cli llama-gguf-split llama-mtmd-cli
cp llama.cpp/build/bin/llama-* llama.cpp

1. Wenn du llama.cpp direkt zum Laden von Modellen verwenden möchten, können Sie Folgendes tun: (:Q4_K_XL) ist der Quantisierungstyp. Sie können auch über Hugging Face herunterladen (Punkt 3). Dies ähnelt ollama run

./llama.cpp/llama-mtmd-cli \
    -hf unsloth/gemma-3-4b-it-GGUF:Q4_K_XL

1. ODER laden Sie das Modell herunter via (nach Installation von pip install huggingface_hub hf_transfer ). Sie können Q4_K_M wählen oder andere quantisierte Versionen (wie BF16 Vollpräzision). Weitere Versionen unter: https://huggingface.co/unsloth/gemma-3-27b-it-GGUF

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/gemma-3-27b-it-GGUF",
    local_dir = "unsloth/gemma-3-27b-it-GGUF",
    allow_patterns = ["*Q4_K_XL*", "mmproj-BF16.gguf"], # Für Q4_K_M
)

1. Führen Sie Unsloths Flappy Bird-Test aus

2. Bearbeiten Sie können --threads 32 für die Anzahl der CPU-Threads bearbeiten, für Kontextlänge (Gemma 3 unterstützt 128K Kontextlänge!), --n-gpu-layers 99 --n-gpu-layers 2

3. Für den Konversationsmodus:

./llama.cpp/llama-mtmd-cli \
    --model unsloth/gemma-3-27b-it-GGUF/gemma-3-27b-it-Q4_K_XL.gguf \
    --mmproj unsloth/gemma-3-27b-it-GGUF/mmproj-BF16.gguf \
    --ctx-size 16384 \
    --n-gpu-layers 99 \
    --seed 3407 \
    --prio 2 \
    --temp 1.0 \
    --repeat-penalty 1.0 \
    --min-p 0.01 \
    --top-k 64 \
    --top-p 0.95

1. Für den Nicht-Konversationsmodus, um Flappy Bird zu testen:

./llama.cpp/llama-cli \
    --model unsloth/gemma-3-27b-it-GGUF/gemma-3-27b-it-Q4_K_XL.gguf \
    --ctx-size 16384 \
    --n-gpu-layers 99 \
    --seed 3407 \
    --prio 2 \
    --temp 1.0 \
    --repeat-penalty 1.0 \
    --min-p 0.01 \
    --top-k 64 \
    --top-p 0.95 \
    -no-cnv \
    --prompt "<start_of_turn>user\nErstelle ein Flappy Bird-Spiel in Python. Du musst folgende Dinge einbauen:\n1. Du musst pygame verwenden.\n2. Die Hintergrundfarbe sollte zufällig gewählt werden und ein heller Farbton sein. Beginne mit einem hellen Blau.\n3. Mehrfaches Drücken von SPACE beschleunigt den Vogel.\n4. Die Form des Vogels sollte zufällig als Quadrat, Kreis oder Dreieck gewählt werden. Die Farbe sollte zufällig als dunkle Farbe gewählt werden.\n5. Platziere unten etwas Land, das zufällig dunkelbraun oder gelb gefärbt ist.\n6. Zeige eine Punktzahl oben rechts an. Erhöhe sie, wenn du Rohre passiert und nicht getroffen hast.\n7. Erstelle zufällig platzierte Rohre mit genügend Abstand. Färbe sie zufällig dunkelgrün oder hellbraun oder in einem dunklen Grauton.\n8. Wenn du verlierst, zeige die beste Punktzahl an. Platziere den Text im Bildschirm. Das Drücken von q oder Esc beendet das Spiel. Neustarten erfolgt durch erneutes Drücken von SPACE.\nDas finale Spiel sollte innerhalb eines Markdown-Abschnitts in Python sein. Überprüfe deinen Code auf Fehler und behebe sie vor dem finalen Markdown-Abschnitt.<end_of_turn>\n<start_of_turn>model\n"

Die vollständige Eingabe aus unserem https://unsloth.ai/blog/deepseekr1-dynamic 1.58bit-Blog ist:

Denken Sie daran, <bos> zu entfernen, da Gemma 3 automatisch ein <bos> hinzufügt!

<start_of_turn>user
Erstelle ein Flappy Bird-Spiel in Python. Du musst Folgendes einbeziehen:
1. Du musst pygame verwenden.
2. Die Hintergrundfarbe sollte zufällig gewählt sein und einen hellen Ton haben. Beginne mit einer hellblauen Farbe.
3. Mehrmaliges Drücken der LEERTASTE beschleunigt den Vogel.
4. Die Form des Vogels sollte zufällig als Quadrat, Kreis oder Dreieck gewählt werden. Die Farbe sollte zufällig als dunkle Farbe gewählt werden.
5. Platziere unten etwas Land, das zufällig dunkelbraun oder gelb gefärbt ist.
6. Zeige eine Punktzahl oben rechts an. Erhöhe sie, wenn du Rohre passiert und nicht getroffen hast.
7. Erzeuge zufällig platzierte Rohre mit genügend Abstand. Färbe sie zufällig dunkelgrün oder hellbraun oder in einem dunklen Grauton.
8. Wenn du verlierst, zeige die Bestpunktzahl. Mache den Text innerhalb des Bildschirms. Das Drücken von q oder Esc beendet das Spiel. Neustarten erfolgt durch erneutes Drücken der LEERTASTE.
Das finale Spiel sollte in einer Markdown-Sektion in Python sein. Überprüfen Sie Ihren Code auf Fehler

🦥 Fine-Tuning von Gemma 3 in Unsloth

Unsloth ist das einzige Framework, das auf float16-Maschinen für Gemma 3 Inferenz und Training funktioniert. Das bedeutet, dass Colab-Notebooks mit kostenlosen Tesla T4-GPUs ebenfalls funktionieren!

• Probieren Sie unser neues Gemma 3 (270M) Notebook welches das 270M-Parameter-Modell sehr gut im Schachspielen macht und den nächsten Zug vorhersagen kann.

• Feinjustieren Sie Gemma 3 (4B) mithilfe unserer Notebooks für: Text oder Vision

• Oder feinjustieren Sie Gemma 3n (E4B) mit Text • Vision • Audio

Beim Versuch eines vollständigen Fine-Tunes (FFT) von Gemma 3 werden alle Layer standardmäßig auf float32 auf float16-Geräten gesetzt. Unsloth erwartet float16 und castet dynamisch hoch. Um das zu beheben, führen Sie model.to(torch.float16) nach dem Laden aus oder verwenden Sie eine GPU mit bfloat16-Unterstützung.

Unsloth Fine-Tuning Fixes

Unsere Lösung in Unsloth ist dreifach:

1. Behalten Sie alle Zwischenaktivierungen im bfloat16-Format bei - sie können float32 sein, aber das verbraucht 2x mehr VRAM oder RAM (über Unsloths asynchrones Gradient Checkpointing)

2. Führen Sie alle Matrixmultiplikationen in float16 mit Tensor-Cores aus, aber casten Sie manuell hoch/runter ohne die Hilfe von Pythons (Pytorchs) Mixed-Precision-Autocast.

3. Casten Sie alle anderen Optionen, die keine Matrixmultiplikationen benötigen (Layernorms), auf float32 hoch.

🤔 Gemma 3 Fixes Analyse

Gemma 3 1B bis 27B überschreiten das Float16-Maximum von 65504

Zuerst, bevor wir feinjustieren oder Gemma 3 ausführen, haben wir festgestellt, dass bei Verwendung von float16 Mixed Precision Gradienten und Aktivierungen leider unendlich werden Dies passiert bei T4-GPUs, der RTX-20x-Serie und V100-GPUs, die nur float16 Tensor-Cores haben.

Bei neueren GPUs wie RTX-30x oder höher, A100s, H100s usw. haben diese GPUs bfloat16 Tensor-Cores, sodass dieses Problem nicht auftritt! Aber warum?

Wikipedia https://en.wikipedia.org/wiki/Bfloat16_floating-point_format

Float16 kann nur Zahlen bis zu 65504, darstellen, während bfloat16 riesige Zahlen bis zu 10^38darstellen kann! Aber beachten Sie, dass beide Zahlenformate nur 16 Bit verwenden! Das liegt daran, dass float16 mehr Bits zuordnet, damit es kleinere Dezimalzahlen besser darstellen kann, während bfloat16 Brüche nicht gut darstellen kann.

Aber warum float16? Lassen Sie uns einfach float32 verwenden! Aber leider ist float32 in GPUs bei Matrixmultiplikationen sehr langsam - manchmal 4- bis 10-mal langsamer! Daher können wir das nicht tun.