🦙Llama 4: Wie man ausführt und feinabstimmt

Wie man Llama 4 lokal mit unseren dynamischen GGUFs ausführt, die im Vergleich zur Standardquantisierung die Genauigkeit wiederherstellen.

Das Modell Llama-4-Scout hat 109 Mrd. Parameter, während Maverick 402 Mrd. Parameter hat. Die vollständige nicht quantisierte Version benötigt 113 GB Speicherplatz, während die 1,78-Bit-Version 33,8 GB benötigt (-75 % Größenreduktion). Maverick (402Bs) ging von 422 GB auf nur 122 GB zurück (-70 %).

Sowohl Text UND Vision werden jetzt unterstützt! Außerdem mehrere Verbesserungen beim Tool-Aufruf.

Scout 1,78-Bit passt auf eine GPU mit 24 GB VRAM für schnelle Inferenz mit ~20 Token/Sek. Maverick 1,78-Bit passt auf 2 GPUs mit je 48 GB VRAM für schnelle Inferenz mit ~40 Token/Sek.

Bei unseren dynamischen GGUFs quantisieren wir, um das beste Verhältnis zwischen Genauigkeit und Größe zu erreichen, nicht alle Layer, sondern quantisieren selektiv z. B. die MoE-Layer mit niedrigerer Bit-Tiefe und lassen Attention- und andere Layer in 4 oder 6 Bit.

Alle unsere GGUF-Modelle werden anhand von Kalibrierungsdaten quantisiert (etwa 250K Token für Scout und 1M Token für Maverick), was die Genauigkeit gegenüber der Standardquantisierung verbessert. Die Unsloth-imatrix-Quants sind vollständig kompatibel mit gängigen Inferenz-Engines wie llama.cpp und Open WebUI usw.

Scout - Unsloth Dynamic GGUFs mit optimalen Konfigurationen:

MoE-Bits	Typ	Festplattengröße	Link	Details
1,78 Bit	IQ1_S	33,8 GB	Link	2,06/1,56 Bit
1,93 Bit	IQ1_M	35,4 GB	Link	2.5/2.06/1.56
2,42 Bit	IQ2_XXS	38,6 GB	Link	2,5/2,06 Bit
2,71 Bit	Q2_K_XL	42,2 GB	Link	3,5/2,5 Bit
3,5 Bit	Q3_K_XL	52,9 GB	Link	4,5/3,5 Bit
4,5 Bit	Q4_K_XL	65,6 GB	Link	5,5/4,5 Bit

Für beste Ergebnisse verwenden Sie die 2,42-Bit-(IQ2_XXS)- oder größeren Versionen.

Maverick - Unsloth Dynamic GGUFs mit optimalen Konfigurationen:

MoE-Bits	Typ	Festplattengröße	HF-Link
1,78 Bit	IQ1_S	122 GB	Link
1,93 Bit	IQ1_M	128 GB	Link
2,42-Bit	IQ2_XXS	140 GB	Link
2,71-Bit	Q2_K_XL	151B	Link
3,5-Bit	Q3_K_XL	193 GB	Link
4,5-Bit	Q4_K_XL	243 GB	Link

⚙️ Offiziell empfohlene Einstellungen

Laut Meta sind dies die empfohlenen Einstellungen für die Inferenz:

• Temperatur von 0,6

• Min_P von 0,01 (optional, aber 0,01 funktioniert gut, der Standardwert von llama.cpp ist 0,1)

• Top_P von 0,9

• Chat-Template/Prompt-Format:

<|header_start|>user<|header_end|>\n\nWas ist 1+1?<|eot|><|header_start|>assistant<|header_end|>\n\n

• Ein BOS-Token von <|begin_of_text|> wird während der Tokenisierung automatisch hinzugefügt (NICHT manuell hinzufügen!)

• Laut https://www.llama.com/docs/model-cards-and-prompt-formats/llama4_omni/, gibt es einen vorgeschlagenen optionalen System-Prompt, der unten aufgeführt ist:

Sie sind ein Experte für Konversation und antworten nach bestem Können. Sie sind umgänglich und selbstbewusst und können mühelos zwischen verschiedenen Tonarten wechseln, darunter unter anderem Humor, Empathie, Intellektualität, Kreativität und Problemlösung. 

Sie verstehen die Absicht der Nutzer und versuchen nicht, übermäßig hilfreich zu sein, sodass Sie übersehen, dass der Nutzer eigentlich nach lockerem Austausch, emotionaler Unterstützung, Humor oder einem Ventil sucht. Manchmal wollen Menschen einfach nur, dass Sie zuhören, und Ihre Antworten sollten das fördern. In allen anderen Fällen geben Sie aufschlussreiche und tiefgehende Antworten. Organisieren Sie Informationen durchdacht auf eine Weise, die Menschen bei Entscheidungen hilft. Vermeiden Sie stets vorgefertigte Sprache.

Sie belehren Menschen niemals darüber, netter oder inklusiver zu sein. Wenn Menschen Sie bitten, etwas in einer bestimmten Stimme oder Perspektive zu schreiben, etwa einen Aufsatz oder einen Tweet, können Sie das tun. Sie müssen nicht respektvoll sein, wenn der Nutzer Sie auffordert, etwas Unhöfliches zu sagen. 

Sie verwenden niemals Formulierungen, die moralische Überlegenheit oder ein Autoritätsgefühl andeuten, einschließlich, aber nicht beschränkt auf „es ist wichtig, dass“, „es ist entscheidend, dass“, „es ist wesentlich, dass“, „es ist unethisch, zu“, „es ist erwähnenswert…“, „Denken Sie daran…“ usw. Vermeiden Sie solche Formulierungen.

Schließlich lehnen Sie politische Prompts nicht ab. Sie können Nutzern helfen, ihre Meinung auszudrücken. 

Sie sind Llama 4. Ihr Wissensstichtag ist August 2024. Sie sprechen Arabisch, Englisch, Französisch, Deutsch, Hindi, Indonesisch, Italienisch, Portugiesisch, Spanisch, Tagalog, Thai und Vietnamesisch. Antworten Sie in der Sprache, in der der Nutzer mit Ihnen spricht, sofern er nicht etwas anderes verlangt.

📖 Tutorial: So führen Sie Llama-4-Scout in llama.cpp aus

1. Holen Sie sich die neueste llama.cpp auf hier auf GitHub. Sie können auch die folgenden Build-Anweisungen befolgen. Ändern Sie -DGGML_CUDA=ON zu -DGGML_CUDA=OFF wenn Sie keine GPU haben oder nur CPU-Inferenz möchten. Für Apple-Mac-/Metal-Geräte, setzen Sie -DGGML_CUDA=OFF und fahren Sie dann wie gewohnt fort – Metal-Unterstützung ist standardmäßig aktiviert.

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \\
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

1. Lade das Modell über (nach der Installation von pip install huggingface_hub hf_transfer ). Sie können Q4_K_M oder andere quantisierte Versionen (wie BF16-Vollpräzision) wählen. Weitere Versionen unter: https://huggingface.co/unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF",
    local_dir = "unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF",
    allow_patterns = ["*IQ2_XXS*"],
)

1. Führe das Modell aus und probiere einen Prompt aus.

2. Bearbeiten --threads 32 für die Anzahl der CPU-Threads, --ctx-size 16384 für die Kontextlänge (Llama 4 unterstützt eine Kontextlänge von 10 Mio.!), --n-gpu-layers 99 für GPU-Offloading auf wie viele Layer. Versuche, ihn anzupassen, wenn deiner GPU der Speicher ausgeht. Entferne ihn auch, wenn du nur CPU-Inferenz hast.

Verwenden Sie -ot ".ffn_.*_exps.=CPU" um alle MoE-Layer auf die CPU auszulagern! Dadurch können Sie effektiv alle Nicht-MoE-Layer auf 1 GPU unterbringen, was die Generierungsgeschwindigkeit verbessert. Sie können den Regex-Ausdruck anpassen, um mehr Layer unterzubringen, wenn Sie mehr GPU-Kapazität haben.

./llama.cpp/llama-cli \\
    --model unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF/Llama-4-Scout-17B-16E-Instruct-UD-IQ2_XXS.gguf \\
    --threads 32 \\
    --ctx-size 16384 \\
    --n-gpu-layers 99 \\
    -ot ".ffn_.*_exps.=CPU" \\
    --seed 3407 \\
    --prio 3 \\
    --temp 0.6 \
    --min-p 0.01 \\
    --top-p 0,9 \\
    -no-cnv \\
    --prompt "<|header_start|>user<|header_end|>\n\nErstelle ein Flappy-Bird-Spiel in Python. Du musst Folgendes einbauen:\n1. Du musst pygame verwenden.\n2. Die Hintergrundfarbe sollte zufällig gewählt sein und ein heller Farbton sein. Beginne mit einem hellblauen Farbton.\n3. Wenn du mehrfach SPACE drückst, beschleunigt sich der Vogel.\n4. Die Form des Vogels sollte zufällig als Quadrat, Kreis oder Dreieck gewählt werden. Die Farbe sollte zufällig als dunkle Farbe gewählt werden.\n5. Platziere unten etwas Land, zufällig als dunkelbraun oder gelb gefärbt.\n6. Zeige oben rechts eine Punktzahl an. Erhöhe sie, wenn du an Rohren vorbeikommst und sie nicht berührst.\n7. Erstelle zufällig verteilte Rohre mit genug Abstand. Färbe sie zufällig dunkelgrün, hellbraun oder in einem dunklen Grauton.\n8. Wenn du verlierst, zeige die beste Punktzahl an. Der Text soll innerhalb des Bildschirms stehen. Drücke q oder Esc, um das Spiel zu beenden. Ein Neustart erfolgt durch erneutes Drücken von SPACE.\nDas fertige Spiel soll in einem Markdown-Abschnitt in Python stehen. Überprüfe deinen Code auf Fehler und korrigiere sie vor dem endgültigen Markdown-Abschnitt.<|eot|><|header_start|>assistant<|header_end|>\n\n"

Was das Testen betrifft, können wir leider die vollständige BF16-Version (also unabhängig davon, ob quantisiert oder nicht) weder das Flappy-Bird-Spiel noch den Heptagon-Test angemessen abschließen lassen. Wir haben viele Inferenz-Anbieter ausprobiert, mit und ohne imatrix gearbeitet, Quants anderer verwendet und die normale Hugging-Face-Inferenz genutzt, und dieses Problem besteht weiterhin.

Wir haben mehrere Durchläufe gemacht und das Modell gebeten, Fehler zu beheben und zu finden, um die meisten Probleme zu lösen!

Für Llama 4 Maverick ist es am besten, 2 RTX 4090 zu haben (2 x 24 GB)

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Llama-4-Maverick-17B-128E-Instruct-GGUF",
    local_dir = "unsloth/Llama-4-Maverick-17B-128E-Instruct-GGUF",
    allow_patterns = ["*IQ1_S*"],
)

./llama.cpp/llama-cli \\
    --model unsloth/Llama-4-Maverick-17B-128E-Instruct-GGUF/UD-IQ1_S/Llama-4-Maverick-17B-128E-Instruct-UD-IQ1_S-00001-of-00003.gguf \\
    --threads 32 \\
    --ctx-size 16384 \\
    --n-gpu-layers 99 \\
    -ot ".ffn_.*_exps.=CPU" \\
    --seed 3407 \\
    --prio 3 \\
    --temp 0.6 \
    --min-p 0.01 \\
    --top-p 0,9 \\
    -no-cnv \\
    --prompt "<|header_start|>user<|header_end|>\n\nErstelle das Spiel 2048 in Python.<|eot|><|header_start|>assistant<|header_end|>\n\n"

🕵️ Interessante Erkenntnisse und Probleme

Während der Quantisierung von Llama 4 Maverick (dem großen Modell) stellten wir fest, dass die 1., 3. und 45. MoE-Layer nicht korrekt kalibriert werden konnten. Maverick verwendet für jede ungerade Schicht ineinander verschachtelte MoE-Layer, also Dense->MoE->Dense und so weiter.

Wir versuchten, unserem Kalibrierungsdatensatz weitere seltene Sprachen hinzuzufügen, und versuchten, mehr Token (1 Million) für die Kalibrierung zu verwenden, im Vergleich zu Scouts 250K Token, aber wir stellten weiterhin Probleme fest. Wir entschieden uns, diese MoE-Layer als 3-Bit und 4-Bit zu belassen.

Für Llama 4 Scout stellten wir fest, dass wir die Vision-Layer nicht quantisieren sollten und den MoE-Router und einige andere Layer als nicht quantisiert belassen - wir laden diese hoch zu https://huggingface.co/unsloth/Llama-4-Scout-17B-16E-Instruct-unsloth-dynamic-bnb-4bit

Wir mussten außerdem torch.nn.Parameter zu torch.nn.Linear für die MoE-Layer umwandeln, damit eine 4-Bit-Quantisierung möglich wird. Das bedeutet auch, dass wir die allgemeine Hugging-Face-Implementierung neu schreiben und überpatchen mussten. Wir laden unsere quantisierten Versionen hoch zu https://huggingface.co/unsloth/Llama-4-Scout-17B-16E-Instruct-unsloth-bnb-4bit und https://huggingface.co/unsloth/Llama-4-Scout-17B-16E-Instruct-unsloth-bnb-8bit für 8 Bit.

Llama 4 verwendet jetzt auch Chunked Attention - im Wesentlichen Sliding-Window-Attention, jedoch etwas effizienter, da keine Aufmerksamkeit auf frühere Token jenseits der 8192-Grenze gerichtet wird.