✨Gemma 4 - So führen Sie es lokal aus

Führen Sie Googles neue Gemma-4-Modelle lokal aus, einschließlich E2B, E4B, 26B A4B und 31B.

Gemma 4 ist die neue Familie offener Modelle von Google DeepMind, einschließlich 12B, E2B, E4B, 26B-A4B, und 31B. Die multimodalen Hybrid-Denkmodelle unterstützen über 140 Sprachen, bis zu 256K Kontext, und es gibt dichte sowie MoE-Varianten. Gemma 4 ist unter Apache-2.0 lizenziert und kann auf deinem lokalen Gerät ausgeführt werden.

Gemma-4-12B ist neu und bietet vereinheitlichte Unterstützung für Text, Bild und Audio. Es läuft auf 8 GB RAM (4-Bit) oder 14 GB (8-Bit). Gemma-4-E2B und E4B unterstützen ebenfalls Bild und Audio. Läuft auf 5 GB RAM (4-Bit) oder 15 GB (voll 16-Bit) über GGUF, MLX oder NVFP4-Quants.

Gemma 4 ausführenGemma 4 feinabstimmenGemma 4 QATGemma 4 MTP

NEU: Gemma 4 MTP ist da! MTP ermöglicht 1,4–2,2x schnellere Inferenz ohne Genauigkeitsverlust. Führe MTP direkt in Unsloth Studio.

Gemma-4-26B-A4B läuft auf 18 GB (4-Bit) oder 28 GB (8-Bit). Gemma-4-31B benötigt 20 GB RAM (4-Bit) oder 34 GB (8-Bit).

Du kannst jetzt alle GGUFs, MLX ausführen und Gemma 4 feinabstimmen in Unsloth Studio (siehe rechts).

QAT Varianten von Gemma 4 reduzieren den Speicherbedarf um etwa das 3-Fache, während die Modellqualität erhalten bleibt.

9. Jun: Gemma 4 MTP ist da.

5. Jun: Gemma 4 QAT ist veröffentlicht.

2. Jun: Gemma 4 12B Unified ist veröffentlicht.

20. Apr: Wir haben Gemma 4 GGUF-Benchmarks durchgeführt, um dir bei der Auswahl der besten Quant zu helfen.

Nutzungsanleitung

Gemma 4 glänzt bei Schlussfolgern, Programmierung, Tool-Nutzung, Langkontext- und agentischen Workflows sowie multimodalen Aufgaben. Die kleineren Varianten E2B und E4B sind für Telefone und Laptops gedacht, während die größeren Modelle auf Systeme mit mittlerer bis hoher CPU-/VRAM-Leistung abzielen, etwa PCs mit NVIDIA-RTX-GPUs.

Gemma-4-Variante	Details	Am besten geeignet für
E2B	Dense + PLE (128K Kontext) Unterstützung: Text, Bild, Audio	Für Telefon-/Edge-Inferenz, ASR, Sprachübersetzung
E4B	Dense + PLE (128K Kontext) Unterstützung: Text, Bild, Audio	Kleines Modell für Laptops und schnelle lokale multimodale Nutzung
12B Unified	Dense (256K Kontext) Unterstützung: Text, Bild, Audio	Mittleres Modell für Laptops und lokale multimodale Nutzung
26B-A4B	MoE (256K Kontext) Unterstützung: Text, Bild	Bester Kompromiss aus Geschwindigkeit und Qualität für die Computernutzung
31B	Dense (256K Kontext) Unterstützung: Text, Bild	Stärkste Leistung bei langsamerer Inferenz

Siehe Gemma 4: Leistungs-Benchmarks und GGUF-Benchmarks.

Soll ich 26B-A4B oder 31B wählen?

• 26B-A4B - balanciert Geschwindigkeit und Genauigkeit. Sein MoE-Design macht es schneller als 31B, mit 4B aktiven Parametern. Wähle es, wenn RAM knapp ist und du bereit bist, etwas Qualität gegen Geschwindigkeit einzutauschen.

• 31B - derzeit das stärkste Gemma-4-Modell. Wähle es für maximale Qualität, wenn du genug Speicher hast und etwas langsamere Geschwindigkeiten akzeptieren kannst.

Hardware-Anforderungen

Tabelle: Empfohlene Hardwareanforderungen für Gemma 4 Inferenz GGUF (Einheiten = Gesamtspeicher: RAM + VRAM oder gemeinsamer Speicher). Du kannst Gemma 4 auf MacOS, NVIDIA-RTX-GPUs usw. verwenden.

Gemma-4-Variante	4-Bit	8-Bit	BF16 / FP16
E2B	4 GB	5–8 GB	10 GB
E4B	5,5–6 GB	9–12 GB	16 GB
12B Unified	7–8 GB	13–14 GB	25 GB
26B A4B	16–18 GB	28–30 GB	52 GB
31B	17–20 GB	34–38 GB	62 GB

Als Faustregel gilt: Dein insgesamt verfügbarer Speicher sollte mindestens größer sein als die Größe des quantisierten Modells, das du herunterlädst. Wenn das nicht der Fall ist, kann llama.cpp zwar weiterhin mit teilweisem RAM-/Festplatten-Offload laufen, aber die Generierung wird langsamer sein. Je nach verwendetem Kontextfenster benötigst du außerdem mehr Rechenleistung.

Empfohlene Einstellungen

Es wird empfohlen, Googles Standardparameter für Gemma 4 zu verwenden:

• temperature = 1,0

• top_p = 0,95

• top_k = 64

Der maximale Kontext von Gemma 4 ist 128K für E2B / E4B und 262,144 für 12B / 26B A4B / 31B.

Denkmodus

Im Vergleich zu älteren Gemma-Chat-Templates verwendet Gemma 4 die standardmäßigen System-, Assistent-, und Benutzer- Rollen und fügt eine explizite Denksteuerung hinzu.

So aktivierst du das Denken:

Füge das Token <|think|> am Anfang des System-Prompts hinzu.

Denken aktiviert

<|think|>
Du bist ein sorgfältiger Programmierassistent. Erkläre deine Antwort klar.

Denken deaktiviert

Du bist ein sorgfältiger Programmierassistent. Erkläre deine Antwort klar.

Ausgabeverhalten:

Wenn das Denken aktiviert ist, gibt das Modell vor der endgültigen Antwort seinen internen Denkkanal aus.

<|channel>thought
[interne Überlegung]
<channel|>
[endgültige Antwort]

Wenn das Denken deaktiviert ist, können die größeren Modelle dennoch ein leeres Gedankenfeld vor der endgültigen Antwort ausgeben.

<|channel>thought
<channel|>
[endgültige Antwort]

Zum Beispiel mit "Was ist die Hauptstadt von Frankreich?":

<bos><|turn>system\n<|think|><turn|>\n<|turn>user\nWas ist die Hauptstadt von Frankreich?<turn|>\n<|turn>model\n

dann gibt es Folgendes aus:

<|channel>thought\nDer Benutzer fragt nach der Hauptstadt von Frankreich.\nDie Hauptstadt von Frankreich ist Paris.<channel|>Die Hauptstadt von Frankreich ist Paris.<turn|>

Regel für Mehrfachdialoge:

Bei Unterhaltungen mit mehreren Runden nur die endgültige sichtbare Antwort im Chatverlauf behalten. Tue nicht frühere Gedankenblöcke in die nächste Runde zurückspeisen.

<bos><|turn>user\nWas ist 1+1?<turn|>\n<|turn>model\n2<turn|>\n<|turn>user\nWas ist 1+1?<turn|>\n<|turn>model\n2<turn|>\n<|turn>user\nWas ist 1+1?<turn|>\n<|turn>model\n2<turn|>\n<|turn>user\nWas ist 1+1?<turn|>\n<|turn>model\n2<turn|>\n

So deaktivierst du das Denken:

Hinweis llama-cli funktioniert möglicherweise nicht zuverlässig, verwende daher llama-server zum Deaktivieren des Schlussfolgerns:

Um Denken / Schlussfolgern deaktivieren, verwende --chat-template-kwargs '{"enable_thinking":false}'

Wenn du auf Windows Powershell bist, verwende: --chat-template-kwargs "{\"enable_thinking\":false}"

Verwende 'true' und 'false' austauschbar.

Gemma-4-Tutorials ausführen

Da Gemma-4-GGUFs in mehreren Größen verfügbar sind, ist der empfohlene Ausgangspunkt für die kleineren Modelle 8-Bit und für die größeren Modelle Dynamisch 4-Bit. Gemma-4-GGUFs oder MLX oder NVFP4:

E2B	E4B	12b	26B-A4B	31B

🦥 Unsloth-Desktop-Anleitung🦙 Llama.cpp-AnleitungNVFP4-Anleitung

Du kannst Gemma 4 kostenlos mit einer UI in unserem Unsloth Studio✨ Notebook:

Google Colabcolab.research.google.com

🦥 Unsloth-Anleitung

Gemma 4 kann jetzt ausgeführt und feinabgestimmt werden in Unsloth Desktop, unserer neuen Open-Source-Desktop-UI für lokale KI. Unsloth Studio ermöglicht es dir, Modelle lokal auszuführen auf MacOS, Windows, Linux und:

• Suchen, herunterladen, GGUFs ausführen und Safetensor-Modelle

• Selbstheilung Tool-Aufruf + Websuche

• Codeausführung (Python, Bash)

• Automatische Inferenz Parameter-Tuning (Temp, Top-p usw.)

• Schnelle CPU- + GPU-Inferenz über llama.cpp

• LLMs trainieren 2x schneller mit 70 % weniger VRAM

1

Unsloth installieren

Der einfachste Einstieg ist der Download der Unsloth-Desktop-App. Funktioniert auf macOS, Windows, und Linux.

Unsloth herunterladen

• Für macOS herunterladen

• Für Windows herunterladen

• Für Linux herunterladen

Oder, wenn du es lieber manuell installieren möchtest:

MacOS, Linux, WSL:

curl -fsSL https://unsloth.ai/install.sh | sh

Windows PowerShell:

irm https://unsloth.ai/install.ps1 | iex

2

Unsloth starten

MacOS, Linux, WSL und Windows:

unsloth studio -H 0.0.0.0 -p 8888

Dann öffne http://127.0.0.1:8888 oder deine spezifische URL in deinem Browser.

Unsloth sicher mit HTTPS und Cloudflare starten

NEU! Unsloth bietet jetzt eine sichere Möglichkeit, Unsloth über HTTPS durch einen kostenlosen Cloudflare-Tunnel zu starten. Verwende das Folgende (funktioniert unter Windows, Mac & Linux):

unsloth studio --secure

3

Gemma 4 suchen und herunterladen

Beim ersten Start musst du ein Passwort erstellen, um dein Konto zu sichern, und dich erneut anmelden.

Dann gehe zum Unsloth Chat Tab, suche in der Suchleiste nach Gemma 4 und lade dein gewünschtes Modell und deine gewünschte Quantisierung herunter. Unsloth unterstützt das neueste Gemma-4-12B-Unity-Modell.

4

Gemma 4 ausführen

Die Inferenzparameter sollten bei Verwendung von Unsloth Studio automatisch gesetzt werden, du kannst sie jedoch weiterhin manuell ändern. Du kannst auch die Kontextlänge, das Chat-Template und andere Einstellungen bearbeiten. Du kannst GGUF- und MLX-Dateien ausführen.

Für weitere Informationen kannst du unsere Unsloth-Studio-Inferenzanleitung.

🦙 Llama.cpp-Anleitung

Für diese Anleitung verwenden wir Dynamic 4-Bit für die 12B, 26B-A4B und 31B sowie 8-Bit für E2B und E4B. Siehe: Gemma-4-GGUF-Sammlung

Für diese Tutorials werden wir llama.cpp für schnelle lokale Inferenz verwenden, besonders wenn du eine CPU hast.

1

Hole dir die neueste llama.cpp auf GitHub hier. Du kannst auch die Build-Anweisungen unten befolgen. Ändere -DGGML_CUDA=ON zu -DGGML_CUDA=OFF wenn du keine GPU hast oder nur CPU-Inferenz möchtest. Für Apple Mac / Metal-Geräte, setze -DGGML_CUDA=OFF und fahre dann wie gewohnt fort - Metal-Unterstützung ist standardmäßig aktiviert.

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \\
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2

Wenn du verwenden möchtest llama.cpp direkt zum Laden von Modellen, kannst du den unten stehenden Befehlen folgen, je nach Modell. UD-Q4_K_XL ist der Quantisierungstyp. Du kannst auch über Hugging Face herunterladen (Schritt 3). Das ist ähnlich wie ollama run . Verwende export LLAMA_CACHE="folder" um zu erzwingen llama.cpp dass in einem bestimmten Speicherort gespeichert wird. Es ist nicht nötig, die Kontextlänge festzulegen, da llama.cpp automatisch die exakt benötigte Menge verwendet.

Um Denken / Schlussfolgern deaktivieren, verwende: --chat-template-kwargs '{"enable_thinking":false}'

Windows Powershell: --chat-template-kwargs "{\"enable_thinking\":false}"

Verwende 'true' und 'false' austauschbar.

12B:

export LLAMA_CACHE="unsloth/gemma-4-12B-it-GGUF"
./llama.cpp/llama-cli \\
    -hf unsloth/gemma-4-12b-it-GGUF:UD-Q4_K_XL \\
    --temp 1.0 \\
    --top-p 0.95 \\
    --top-k 64

26B-A4B:

export LLAMA_CACHE="unsloth/gemma-4-26B-A4B-it-GGUF"
./llama.cpp/llama-cli \\
    -hf unsloth/gemma-4-26B-A4B-it-GGUF:UD-Q4_K_XL \\
    --temp 1.0 \\
    --top-p 0.95 \\
    --top-k 64

31B:

export LLAMA_CACHE="unsloth/gemma-4-31B-it-GGUF"
./llama.cpp/llama-cli \\
    -hf unsloth/gemma-4-31B-it-GGUF:UD-Q4_K_XL \\
    --temp 1.0 \\
    --top-p 0.95 \\
    --top-k 64

E4B:

export LLAMA_CACHE="unsloth/gemma-4-E4B-it-GGUF"
./llama.cpp/llama-cli \\
    -hf unsloth/gemma-4-E4B-it-GGUF:Q8_0 \\
    --temp 1.0 \\
    --top-p 0.95 \\
    --top-k 64

E2B:

export LLAMA_CACHE="unsloth/gemma-4-E2B-it-GGUF"
./llama.cpp/llama-cli \\
    -hf unsloth/gemma-4-E2B-it-GGUF:Q8_0 \\
    --temp 1.0 \\
    --top-p 0.95 \\
    --top-k 64

3

Du kannst das Modell auch manuell über den unten stehenden Code herunterladen (nach der Installation von pip install huggingface_hub). Du kannst wählen UD-Q4_K_XL oder andere quantisierte Versionen wie Q8_0 . Wenn Downloads hängen bleiben, siehe: Hugging Face Hub, XET-Debugging

hf download unsloth/gemma-4-26B-A4B-it-GGUF \\
    --local-dir unsloth/gemma-4-26B-A4B-it-GGUF \\
    --include "*mmproj-BF16*" \\
    --include "*UD-Q4_K_XL*" # Verwende "*UD-Q2_K_XL*" für Dynamic 2bit

4

Dann führe das Modell im Konversationsmodus aus (mit Vision mmproj-F16):

./llama.cpp/llama-cli \\
    --model unsloth/gemma-4-26B-A4B-it-GGUF/gemma-4-26B-A4B-it-UD-Q4_K_XL.gguf \\
    --mmproj unsloth/gemma-4-26B-A4B-it-GGUF/mmproj-BF16.gguf \\
    --temp 1.0 \\
    --top-p 0.95 \\
    --top-k 64

5

Bereitstellung von Llama-server

Um Gemma-4 auf llama-server bereitzustellen, verwende:

./llama.cpp/llama-server \\
    --model unsloth/gemma-4-26B-A4B-it-GGUF/gemma-4-26B-A4B-it-UD-Q4_K_XL.gguf \\
    --mmproj unsloth/gemma-4-26B-A4B-it-GGUF/mmproj-BF16.gguf \\
    --temp 1.0 \\
    --top-p 0.95 \\
    --top-k 64 \\
    --alias "unsloth/gemma-4-26B-A4B-it-GGUF" \\
    --port 8001 \\
    --chat-template-kwargs '{"enable_thinking":true}'

MLX Dynamic Quants

Wir haben außerdem dynamische 4-Bit- und 8-Bit-Quants als ersten Test für MacOS-Geräte hochgeladen! Die MLX-Quants unterstützen Vision.

Alle MLX-Quants funktionieren jetzt in Unsloth Studio!

Gemma 4	4-Bit-MLX	8-Bit-MLX
31B	Link	Link
26B-A4B	Link	Link
E4B	Link	Link
E2B	Link	Link

Um sie auszuprobieren, verwenden Sie:

curl -fsSL https://raw.githubusercontent.com/unslothai/unsloth/refs/heads/main/scripts/install_gemma4_mlx.sh | sh
source ~/.unsloth/unsloth_gemma4_mlx/bin/activate
python -m mlx_vlm.chat --model unsloth/gemma-4-26b-a4b-it-UD-MLX-4bit

NVFP4-Anleitung

Wir haben Dynamisches NVFP4 Gemma-4-Quants für schnellere 4-Bit-Inferenz auf NVIDIA-Blackwell-GPUs. Dies sind die Hardwareanforderungen für Modelle, die Sie verwenden können, einschließlich Gemma 4. Sehen Sie sich auch den gesamten Geschwindigkeitszuwachs an, den Sie erzielen werden:

Gemma-4-Variante	Erforderlicher VRAM	Schneller als BF16
E2B	7 GB	1,12× schneller
E4B	9 GB	1,22× schneller
12B Unified	11 GB	1,26× schneller
26B A4B	26 GB	1,41× schneller
31B	32 GB	1,45× schneller

vLLM-Anleitung:

Um NVFP4-Quants auszuführen, sehen Sie unten die Befehle zum Ausführen von Gemma-4-26B-A4B in vLLM und SGLang (Sie können den Modellnamen ändern zu gemma-4-31B-it-NVFP4 usw.) Wählen Sie außerdem KEIN MoE-Backend aus - lassen Sie vLLM es auswählen - z. B. ist Marlin 2,5x langsamer! Siehe Gemma 4Wenn Sie einen DGX Spark haben, siehe Gemma 4 Sie müssen --moe-backend flashinfer_b12x oder Sie erhalten eine viel langsamere Inferenz.

Um vLLM in einer separaten venv zu installieren:

uv venv unsloth-nvfp4-env --python 3.13
source unsloth-nvfp4-env/bin/activate
uv pip install "vllm>=0.25.0" "flashinfer-python>=0.6.13" "nvidia-cutlass-dsl>=4.5.2" \
    --torch-backend=auto

Dann, um die 26B-MoE-Variante bereitzustellen:

vllm serve unsloth/gemma-4-26B-A4B-it-NVFP4

Ändern Sie unsloth/gemma-4-26B-A4B-it-NVFP4 in jeden verfügbaren NVFP4- Quant-Namen!

Um MTP / spekulatives Decodieren zu aktivieren (schnelleres Decodieren, aber etwas geringerer Durchsatz), verwenden Sie:

vllm serve unsloth/gemma-4-26B-A4B-it-NVFP4
    --speculative-config '{"method": "mtp", "num_speculative_tokens": 2}'

Wenn Sie Torchcodec-Probleme haben, führen Sie bitte Folgendes aus und starten Sie dann vllm neu.

sudo apt-get update
sudo apt-get install -y ffmpeg

DGX Spark mit NVFP4-Quants

Um sicherzustellen, dass DGX Spark die richtigen Kernel hat (sonst erhalten Sie 2x LANGSAMERE Inferenz), prüfen Sie zuerst:

python -c "
import torch; from vllm.utils.flashinfer import has_flashinfer_b12x_gemm as g, has_flashinfer_b12x_moe as m
cap = torch.cuda.get_device_capability(); print('cap', cap, '| b12x gemm', g(), '| b12x moe', m()); assert cap[0] == 12 and g() and m(), 'b12x unavailable: serving would degrade to marlin W4A16'"

was KEINEN Fehler auslösen sollte - falls doch, aktualisieren Sie bitte vllm oder installieren Sie es neu über:

uv venv unsloth-nvfp4-env --python 3.13
source unsloth-nvfp4-env/bin/activate
uv pip install "vllm>=0.25.0" "flashinfer-python>=0.6.13" "nvidia-cutlass-dsl>=4.5.2" \
    --torch-backend=auto

Dann, um in vLLM für DGX Spark bereitzustellen:

export CUTE_DSL_ARCH=sm_121a
vllm serve unsloth/gemma-4-26B-A4B-it-NVFP4 --moe-backend flashinfer_b12x

Wenn Sie Torchcodec-Probleme haben, führen Sie bitte Folgendes aus und starten Sie dann vllm neu.

sudo apt-get update
sudo apt-get install -y ffmpeg

SGLang-Anleitung:

python -m sglang.launch_server --model-path unsloth/gemma-4-31B-it-NVFP4 --speculative-algorithm NEXTN \
     --speculative-num-steps 3 --speculative-eagle-topk 1 --speculative-num-draft-tokens 4

Ollama-Anleitung

Ollama unterstützt Unsloth-GGUFs jetzt gut. Verwenden Sie curl -fsSL https://ollama.com/install.sh | sh um Ollama unter Linux zu installieren oder irm https://ollama.com/install.ps1 | iex für Windows. Um eine einzelne Quant-Datei (unter 50 GB) zu verwenden, nutzen Sie:

ollama run hf.co/unsloth/gemma-4-26B-A4B-it-GGUF:UD-Q4_K_XL

Für mehrere Shards, wie größere BF16-Shards, führen Sie Folgendes aus:

pip install -U huggingface_hub

# mmproj und BF16 in 2 Aufrufen herunterladen
hf download unsloth/gemma-4-26B-A4B-it-GGUF --include "BF16/*" \
    --local-dir gemma4
hf download unsloth/gemma-4-26B-A4B-it-GGUF --include "mmproj-BF16.gguf" \
    --local-dir gemma4

mv gemma4/mmproj-BF16.gguf gemma4/BF16/
echo "FROM ./gemma4/BF16" > Modelfile

ollama create unsloth-gemma4 -f Modelfile
ollama run unsloth-gemma4

Wenn Sie Fehler: 500 Interner Serverfehler: Modell konnte nicht geladen werden aktualisieren Sie Ollama über curl -fsSL https://ollama.com/install.sh | sh oder verwenden Sie die PowerShell-Variante.

Best Practices für Gemma 4

Beispiel-Prompts

Einfacher Schlussfolgerungs-Prompt

System:
<|think|>
Sie sind ein präziser Schlussfolgerungsassistent.

Benutzer:
Ein Zug fährt um 8:15 Uhr ab und kommt um 11:47 Uhr an. Wie lang war die Fahrt?

OCR-/Dokumenten-Prompt

Für OCR verwenden Sie ein hohes visuelles Token-Budget wie 560 oder 1120.

[Bild zuerst]
Extrahieren Sie den gesamten Text aus diesem Beleg. Geben Sie Positionen, Gesamtsumme, Händler und Datum als JSON zurück.

Multimodaler Vergleichs-Prompt

[Bild 1]
[Bild 2]
Vergleichen Sie diese beiden Screenshots und sagen Sie mir, welcher einen neuen Benutzer eher verwirren würde.

Audio-ASR-Prompt

Transkribieren Sie den folgenden Sprachabschnitt in {LANGUAGE} in {LANGUAGE}-Text.

Befolgen Sie diese spezifischen Anweisungen zur Formatierung der Antwort:
* Geben Sie nur die Transkription aus, ohne Zeilenumbrüche.
* Schreiben Sie beim Transkribieren von Zahlen die Ziffern, d. h. schreiben Sie 1.7 und nicht eins Komma sieben, und schreiben Sie 3 statt drei.

Audio-Übersetzungs-Prompt

Transkribieren Sie den folgenden Sprachabschnitt in {SOURCE_LANGUAGE}, und übersetzen Sie ihn dann in {TARGET_LANGUAGE}. Geben Sie bei der Formatierung der Antwort zuerst die Transkription in {SOURCE_LANGUAGE} aus, dann eine neue Zeile, dann den String '{TARGET_LANGUAGE}: ', und dann die Übersetzung in {TARGET_LANGUAGE}.

Multimodale Einstellungen

Für beste Ergebnisse bei multimodalen Prompts platzieren Sie multimodale Inhalte zuerst:

• Platzieren Sie Bild und/oder Audio vor Text.

• Für Video übergeben Sie zuerst eine Sequenz von Frames, dann die Anweisung.

Audio- und Videolimits

• Audio ist verfügbar auf 12B, E2B und E4B nur.

• Audio unterstützt maximal 30 Sekunden.

• Video unterstützt maximal 60 Sekunden bei Annahme von 1 Frame pro Sekunde Verarbeitung.

Audio-Promptvorlagen

ASR-Prompt

Transkribieren Sie den folgenden Sprachabschnitt in {LANGUAGE} in {LANGUAGE}-Text.

Befolgen Sie diese spezifischen Anweisungen zur Formatierung der Antwort:
* Geben Sie nur die Transkription aus, ohne Zeilenumbrüche.
* Schreiben Sie beim Transkribieren von Zahlen die Ziffern, d. h. schreiben Sie 1.7 und nicht eins Komma sieben, und schreiben Sie 3 statt drei.

Sprachübersetzungs-Prompt

Transkribieren Sie den folgenden Sprachabschnitt in {SOURCE_LANGUAGE}, und übersetzen Sie ihn dann in {TARGET_LANGUAGE}.
Geben Sie bei der Formatierung der Antwort zuerst die Transkription in {SOURCE_LANGUAGE} aus, dann eine neue Zeile, dann den String '{TARGET_LANGUAGE}: ', und dann die Übersetzung in {TARGET_LANGUAGE}.

📊 Benchmarks

Unsloth GGUF-Benchmarks

Wir haben Mean-KL-Divergenz-Benchmarks für Gemma-4-GGUFs über verschiedene Anbieter hinweg durchgeführt, damit Sie den besten Quant auswählen können (niedriger ist besser).

• KL-Divergenz bringt alle Unsloth-GGUFs auf die SOTA-Pareto-Frontier

• KLD zeigt, wie gut ein quantisiertes Modell der ursprünglichen BF16-Ausgabeverteilung entspricht und damit die erhaltene Genauigkeit anzeigt.

26B A4B - KLD-Benchmarks (niedriger ist besser)

Offizielle Gemma-Benchmarks

Text-/Code-Benchmarks

Benchmark	Gemma 4 31B	Gemma 4 26B A4B	Gemma 4 12B Unified	Gemma 4 E4B	Gemma 4 E2B	Gemma 3 27B (ohne Denken)
MMLU Pro	85.2%	82.6%	77.2%	69.4%	60.0%	67.6%
AIME 2026 ohne Tools	89.2%	88.3%	77.5%	42.5%	37.5%	20.8%
LiveCodeBench v6	80.0%	77.1%	72.0%	52.0%	44.0%	29.1%
Codeforces-ELO	2150	1718	1659	940	633	110
GPQA Diamond	84.3%	82.3%	78.8%	58.6%	43.4%	42.4%
Tau2	76.9%	68.2%	69.0%	42.2%	24.5%	16.2%
HLE ohne Tools	19.5%	8.7%	5.2%	-	-	-
HLE mit Suche	26.5%	17.2%	-	-	-	-
BigBench Extra Hard	74.4%	64.8%	53.0%	33.1%	21.9%	19.3%
MMMLU	88.4%	86.3%	83.4%	76.6%	67.4%	70.7%

Vision-Benchmarks

MMMU Pro	76.9%	73.8%	69.1%	52.6%	44.2%	49.7%
OmniDocBench 1.5 (niedriger ist besser)	0.131	0.149	0.164	0.181	0.290	0.365
MATH-Vision	85.6%	82.4%	79.7%	59.5%	52.4%	46.0%
MedXPertQA MM	61.3%	58.1%	48.7%	28.7%	23.5%	-

Audio-Benchmarks

CoVoST	-	-	38.5*	35.54	33.47	-
FLEURS (niedriger ist besser)	-	-	0.069*	0.08	0.09	-
Langer Kontext
MRCR v2 8 needle 128k (Durchschnitt)	66.4%	44.1%	43.4%	25.4%	19.1%	13.5%