🪽Wie man MTP-Modelle ausführt: Leitfaden zur Multi-Token-Prognose

MTP oder Multi-Token Prediction beschleunigt die Inferenz, indem ein Modell mehrere kommende Tokens auf einmal vorhersagt, statt pro Schritt nur ein Token zu erzeugen. Dadurch wird eine schnellere Inferenz ohne Genauigkeitsverlust ermöglicht und es ist besonders effektiv auf GPUs. In diesem Leitfaden lernst du, wie du MTP-Modelle wie Gemma 4 oder Qwen3.8 auf deinem lokalen Gerät verwendest.

MTP sagt mehrere zukünftige Tokens voraus, die das Hauptmodell parallel überprüft. Dadurch werden die Forward-Pässe der Generierung reduziert, was die Ausgabe beschleunigt, während die Qualität erhalten bleibt, da nur verifizierte Tokens übernommen werden.

Beim Ausführen von GGUFskann MTP die Generierung ca. 1,4× bis 2,2× schnellermachen. Dichte Modelle wie Gemma-4-31B profitieren am meisten und erreichen >1,4× Beschleunigung gegenüber dem Original. Die Gewinne sind auf Geräten mit geringerer Speicherbandbreite, wie älteren Macs, kleiner. Du kannst MTP-Modelle direkt in der UI von Unsloth Studio oder llama.cpp ausführen.

MTP verwendet mehr Speicher als Standard-, plane daher mit etwa 2 GB zusätzlichem RAM/VRAM-Spielraum.

Gemma 4 MTPQwen3.6 MTP

Wir haben festgestellt, --spec-draft-n-max 2 ist allerdings der beste Ausgangspunkt, nimm nicht an, 2 dass es optimal ist, da die Leistung hardwareabhängig ist. Probiere jeden Wert von 1 bis 6 und verwende den, der auf deinem System am schnellsten ist. Unsloth Studio setzt automatisch die idealen MTP-Einstellungen, optimiert für deine spezifische Hardware (Mac, CPU, GPU usw.) - du kannst sie später trotzdem noch ändern.

Gemma 4 MTP

Google DeepMind hat MTP getrennt von den ursprünglichen Gemma 4 Modellen trainiert, einschließlich QAT-Varianten. Anders als bei Qwen hat Google spezifische MTP-Varianten unter dem Namen assistant veröffentlicht. Für beste Ergebnisse laden wir nur 3 Präzisionsoptionen hoch: 8-Bit und 16-Bit (BF16, F16). Für QAT haben wir den intelligenten 4-Bit-Wiederherstellungsprozess angewendet, wie wir es auch bei den Gemma-4-QAT-Quants getan haben, sodass die MTP-Quants ebenfalls intelligent aus 4-Bit abgeleitet sind.

Wir haben mtp- vorangestellte GGUFs in jedes Repo hochgeladen, sodass du nur die regulären originalen Gemma-4-GGUFsverwenden musst; kein separates Repo ist nötig. Du kannst auf Gemma MTP-Modelle hier zugreifen und sie können jetzt in Unslothausgeführt werden. Wir haben Gemma-4-QAT mit MTP benchmarked, und es läuft 1,5x - 2,2x schneller:

Tabelle: Hardware-Anforderungen für MTP (Einheiten = Gesamtspeicher: RAM + VRAM oder einheitlicher Speicher)

Gemma-4-Variante	4-Bit	8-Bit	BF16 / FP16
E2B	5 GB	6–9 GB	11 GB
E4B	6,5–7 GB	10–13 GB	17 GB
12B Unified	8–9 GB	14–15 GB	26 GB
26B A4B	17–18 GB	29–31 GB	53 GB
31B	18–21 GB	35–39 GB	63 GB

Gemma 4 MTP ist automatisch aktiviert in Unsloth Studio. Du musst nur die regulären originalen Gemma-4-GGUFs herunterladen. Wir haben die Gemma-4-GGUF-Dateien aktualisiert, damit sie innerhalb des GGUF-Pakets in einem separaten Ordner eine zusätzliche MTP-Datei enthalten, sodass kein separater Gemma-4-Assistant-GGUF heruntergeladen werden muss.

Das einzige Modell, für das immer noch ein separater MTP-GGUF erforderlich ist, ist Qwen3.6.

Um die Gemma-4-MTP-Modelle auszuführen, folge entweder den Schritten für Unsloth Studio oder llama.cpp.

🦥 In Unsloth Studio ausführen🦙 In llama.cpp ausführen

sodass das Folgende einfach funktioniert (dies verwendet die 8-Bit-Version)

llama-server \\
    -hf unsloth/gemma-4-31B-it-GGUF \\
    --spec-type draft-mtp \\
    --spec-draft-n-max 4

Qwen3.6 MTP

Qwen hat MTP direkt in den Qwen3.6 und Qwen3.5 Modelle trainiert. Dadurch erreicht Qwen3.6 27B MTP 160 Tokens/s und Qwen3.6 35B-A3B 240 Tokens/s auf einer RTX-6000-GPU. GGUF-Uploads:

Qwen3.6-27B-MTP-GGUF	Qwen3.6-35B-A3B-MTP-GGUF

Tabelle: Hardware-Anforderungen für MTP (Einheiten = Gesamtspeicher: RAM + VRAM oder einheitlicher Speicher)

Qwen3.6	3-Bit	4-Bit	6-Bit	8-Bit	BF16
27B	16 GB	19 GB	25 GB	31 GB	56 GB
35B-A3B	18 GB	24 GB	31 GB	39 GB	71 GB

Unten sind Grafiken des Inferenz-Durchsatzes für MTP gegenüber ohne MTP:

Wir haben außerdem MTP-GGUFs hochgeladen für die Qwen3.5 Modellfamilie einschließlich: 0,8B, 2B, 4B, 9B, 27B, 35B-A3B, 122B-A10B und 397B-A17B. Llama.cpp verbessert die MTP-Leistung fortlaufend, also erwarte, dass es mit der Zeit schneller wird!

Um die Qwen-MTP-Modelle auszuführen, folge entweder den Schritten für Unsloth Studio oder llama.cpp.

🦥 Unsloth Studio MTP-Leitfaden

Unsloth Studio setzt automatisch die idealen MTP-Einstellungen, optimiert für deine spezifische Hardware (Mac, CPU, GPU usw.) - du kannst sie später trotzdem noch ändern.

1

Installiere Unsloth

Führe in deinem Terminal aus:

MacOS, Linux, WSL:

curl -fsSL https://unsloth.ai/install.sh | sh

Windows PowerShell:

irm https://unsloth.ai/install.ps1 | iex

2

Unsloth starten

MacOS, Linux, WSL und Windows:

unsloth studio -H 127.0.0.1 -p 8888

Dann öffne http://127.0.0.1:8888 (oder deine spezifische URL) in deinem Browser.

3

Suche und lade dein gewünschtes Modell herunter

Beim ersten Start musst du ein Passwort erstellen, um dein Konto zu sichern, und dich später erneut anmelden. Gehe dann zum Unsloth Chat Tab und suche in der Suchleiste nach Qwen3.6 MTP oder Gemma 4 und lade dein gewünschtes Modell und Quant herunter.

Gemma 4 MTP ist in Unsloth automatisch aktiviert. Du musst nur den regulären originalen Gemma-4-GGUF herunterladen. Wir haben die Gemma-4-GGUF-Dateien aktualisiert, damit sie innerhalb des GGUF-Pakets in einem separaten Ordner eine zusätzliche MTP-Datei enthalten, sodass kein separater Gemma-4-Assistant-GGUF heruntergeladen werden muss.

Das einzige Modell, für das immer noch ein separater MTP-GGUF erforderlich ist, ist Qwen3.6.

4

Führe dein MTP-Modell aus

Inferenz-, MTP- und spekulative Dekodierungseinstellungen sollten bei der Verwendung von Unsloth Studio automatisch gesetzt werden, du kannst sie jedoch weiterhin manuell ändern. Du kannst spekulatives Decoding, die Kontextlänge, die Chat-Vorlage und andere Einstellungen auch in der rechten Seitenleiste bearbeiten.

Für weitere Informationen kannst du unseren Unsloth Studio Inferenz-Leitfadenansehen. Unten hat der 2-Bit-Qwen3.6-MTP-GGUF 10+ Tool-Aufrufe gemacht, 10 Websites durchsucht und Python-Code ausgeführt:

🦙 Llama.cpp MTP-Leitfaden

1

Installiere die neueste Version von llama.cpp auf GitHub hier. Du kannst auch den folgenden Build-Anweisungen folgen. Ändere -DGGML_CUDA=ON zu -DGGML_CUDA=OFF wenn du keine GPU hast oder einfach nur CPU-Inferenz möchtest. Für Apple-Mac-/Metal-Geräte, setze -DGGML_CUDA=OFF und fahre dann wie gewohnt fort - Metal-Unterstützung ist standardmäßig aktiviert.

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \\
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2

Wenn du llama.cpp direkt zum Laden von Modellen verwenden möchtest, kannst du Folgendes tun: (:Q4_K_XL) ist der Quantisierungs-Typ. Du kannst auch über Hugging Face herunterladen (Punkt 3). Das ist ähnlich wie ollama run . Verwende export LLAMA_CACHE="folder" um llama.cpp zu erzwingen, dass es an einem bestimmten Ort gespeichert wird. Das Modell hat eine maximale Kontextlänge von 256K.

Folge einem der Befehle für die jeweiligen Modelle:

Gemma 4Qwen3.6

Gemma 4 MTP:

Vergiss nicht, den Modellnamen zu ändern zu deiner gewünschten Gemma-4-Modellgröße wie Gemma-4-26B-A4B usw., da die folgenden Anweisungen für Gemma-4-12B gelten. Beachte, dass wir einen mtp- vorangestellten GGUF bereitgestellt haben, sodass das folgende -hf Kommando MTP automatisch herunterladen und verwenden sollte.

Denken-Modus:

export LLAMA_CACHE="unsloth/gemma-4-12b-it-GGUF"
./llama.cpp/llama-cli \\
    -hf unsloth/gemma-4-12b-it-GGUF:UD-Q4_K_XL \\
    --temp 1.0 \\
    --top-p 0.95 \\
    --top-k 64  \\
    --spec-type draft-mtp --spec-draft-n-max 2

Bitte beachte Gemma 4s neuen Erhaltener Denkmodus.

Nicht-Denkmodus:

export LLAMA_CACHE="unsloth/gemma-4-12b-it-GGUF"
./llama.cpp/llama-cli \\
    -hf unsloth/gemma-4-12b-it-GGUF:UD-Q4_K_XL \\
    --temp 1.0 \\
    --top-p 0.95 \\
    --top-k 64  \\
    --spec-type draft-mtp --spec-draft-n-max 2 \\
    --chat-template-kwargs '{"enable_thinking":false}'

Qwen3.6 MTP:

Vergiss nicht, den Modellnamen zu ändern zu deiner gewünschten Qwen3.6-Variante wie Qwen3.6-35B-A3B oder Qwen3.5 usw., da die folgenden Anweisungen für Qwen3.6-27B gelten:

Denken-Modus (Allgemeine Aufgaben):

export LLAMA_CACHE="unsloth/Qwen3.6-27B-MTP-GGUF"
./llama.cpp/llama-cli \\
    -hf unsloth/Qwen3.6-27B-MTP-GGUF:UD-Q4_K_XL \\
    --temp 1.0 \\
    --top-p 0.95 \\
    --top-k 20 \\
    --min-p 0.00 \\
    --spec-type draft-mtp --spec-draft-n-max 2

Für präzise Codierungsaufgaben ändere: temperature=0.6

Bitte beachte Qwen3.6s neuen Erhaltener Denkmodus.

Nicht-Denkmodus (Allgemeine Aufgaben):

export LLAMA_CACHE="unsloth/Qwen3.6-27B-MTP-GGUF"
./llama.cpp/llama-server \\
    -hf unsloth/Qwen3.6-27B-MTP-GGUF:UD-Q4_K_XL \\
    --temp 0.7 \\
    --top-p 0.8 \\
    --top-k 20 \\
    --presence-penalty 1.5 \\
    --min-p 0.00 \\
    --spec-type draft-mtp --spec-draft-n-max 2 \\
    --chat-template-kwargs '{"enable_thinking":false}'

3

Quants manuell herunterladen

Wenn du die Quants und die MTP-Quants manuell herunterladen möchtest, kannst du das ebenfalls tun! Lade das Modell über den untenstehenden Code herunter (nach der Installation von pip install huggingface_hub hf_transfer). Du kannst Q4_K_M oder andere quantisierte Versionen wie UD-Q4_K_XL wählen. Wir empfehlen, mindestens die dynamische 2-Bit-Quantisierung zu verwenden UD-Q2_K_XL um Größe und Genauigkeit auszubalancieren. Wenn Downloads hängen bleiben, siehe: Hugging Face Hub, XET-Debugging

Gemma 4 MTP:

hf download unsloth/gemma-4-12B-it-qat-GGUF \\
    --local-dir unsloth/gemma-4-12B-it-qat-GGUF \\
    --include "*mmproj-F16*" \\
    --include "mtp-*" \\
    --include "*UD-Q4_K_XL*" # Verwende "*UD-Q2_K_XL*" für Dynamic 2bit

Qwen3.6 MTP:

hf download unsloth/Qwen3.6-27B-MTP-GGUF \\
    --local-dir unsloth/Qwen3.6-27B-MTP-GGUF \\
    --include "*mmproj-F16*" \\
    --include "*UD-Q4_K_XL*" # Verwende "*UD-Q2_K_XL*" für Dynamic 2bit

4

Führe das Modell dann im Gesprächsmodus aus:

Gemma 4 MTP:

./llama.cpp/llama-cli \\
    --model unsloth/gemma-4-12B-it-qat-GGUF/gemma-4-12B-it-qat-UD-Q4_K_XL.gguf \\
    --mmproj unsloth/gemma-4-12B-it-qat-GGUF/mmproj-F16.gguf \\
    --model-draft unsloth/gemma-4-12B-it-qat-GGUF/mtp-gemma-4-12B-it.gguf \\
    --temp 1.0 \\
    --top-p 0.95 \\
    --top-k 64  \\
    --spec-type draft-mtp --spec-draft-n-max 2

Und du wirst das Folgende sehen - ignoriere auch die Fehlermeldungen

Qwen3.6 MTP:

./llama.cpp/llama-cli \\
    --model unsloth/Qwen3.6-27B-MTP-GGUF/Qwen3.6-27B-UD-Q4_K_XL.gguf \\
    --mmproj unsloth/Qwen3.6-27B-MTP-GGUF/mmproj-F16.gguf \\
    --temp 1.0 \\
    --top-p 0.95 \\
    --min-p 0.00 \\
    --top-k 20 \\
    --spec-type draft-mtp --spec-draft-n-max 2

5

Llama-Server-Bereitstellung

Um Gemma-4 auf llama-server bereitzustellen, verwende:

./llama.cpp/llama-server \\
    --model unsloth/gemma-4-12B-it-qat-GGUF/gemma-4-12B-it-qat-UD-Q4_K_XL.gguf \\
    --mmproj unsloth/gemma-4-12B-it-qat-GGUF/mmproj-F16.gguf \\
    --model-draft unsloth/gemma-4-12B-it-qat-GGUF/mtp-gemma-4-12B-it.gguf \\
    --temp 1.0 \\
    --top-p 0.95 \\
    --top-k 64 \\
    --alias "unsloth/gemma-4-12b-it-qat-GGUF" \\
    --port 8001 \\
    --chat-template-kwargs '{"enable_thinking":true}'