🦙Llama 4: Ausführen & Finetunen

Wie man Llama 4 lokal mit unseren dynamischen GGUFs ausführt, die Genauigkeit im Vergleich zur Standardquantisierung wiederherstellen.

Das Llama-4-Scout-Modell hat 109 Milliarden Parameter, während Maverick 402 Milliarden Parameter hat. Die vollständige unquantisierte Version benötigt 113 GB Festplattenspeicher, während die 1,78-Bit-Version 33,8 GB verwendet (-75% Größenreduktion). Maverick (402Bs) ging von 422 GB auf nur 122 GB (-70%).

Sowohl Text ALS AUCH vision wird jetzt unterstützt! Zudem mehrere Verbesserungen beim Aufrufen von Tools.

Scout 1,78-Bit passt in eine 24GB-VRAM-GPU für schnelle Inferenz mit ~20 Token/Sek. Maverick 1,78-Bit passt in 2x48GB-VRAM-GPUs für schnelle Inferenz mit ~40 Token/Sek.

Für unsere dynamischen GGUFs quantisieren wir nicht alle Schichten, um das beste Verhältnis von Genauigkeit und Größe zu gewährleisten, sondern quantisieren selektiv z. B. die MoE-Schichten auf niedrigere Bits und lassen Attention- und andere Schichten in 4- oder 6-Bit.

Alle unsere GGUF-Modelle werden mit Kalibrierdaten quantisiert (etwa 250K Token für Scout und 1M Token für Maverick), was die Genauigkeit gegenüber Standardquantisierung verbessert. Unsloth imatrix-Quants sind vollständig kompatibel mit gängigen Inferenz-Engines wie llama.cpp & Open WebUI usw.

Scout - Unsloth Dynamische GGUFs mit optimalen Konfigurationen:

MoE-Bits	Typ	Platten-/Festplattengröße	Link	Details
1,78bit	IQ1_S	33,8GB	Link	2,06/1,56bit
1,93bit	IQ1_M	35,4GB	Link	2.5/2.06/1.56
2,42bit	IQ2_XXS	38,6GB	Link	2,5/2,06bit
2,71bit	Q2_K_XL	42,2GB	Link	3,5/2,5bit
3,5bit	Q3_K_XL	52,9GB	Link	4,5/3,5bit
4,5bit	Q4_K_XL	65,6GB	Link	5,5/4,5bit

Für beste Ergebnisse verwenden Sie die 2,42-Bit (IQ2_XXS) oder größere Versionen.

Maverick - Unsloth Dynamische GGUFs mit optimalen Konfigurationen:

MoE-Bits	Typ	Platten-/Festplattengröße	HF-Link
1,78bit	IQ1_S	122GB	Link
1,93bit	IQ1_M	128GB	Link
2,42-Bit	IQ2_XXS	140GB	Link
2,71-Bit	Q2_K_XL	151B	Link
3,5-Bit	Q3_K_XL	193GB	Link
4,5-Bit	Q4_K_XL	243GB	Link

⚙️ Offiziell empfohlene Einstellungen

Laut Meta sind dies die empfohlenen Einstellungen für die Inferenz:

• Temperatur von 0,6

• Min_P von 0,01 (optional, aber 0,01 funktioniert gut, llama.cpp-Standard ist 0,1)

• Top_P von 0,9

• Chat-Vorlage/Prompt-Format:

<|header_start|>user<|header_end|>\n\nWas ist 1+1?<|eot|><|header_start|>assistant<|header_end|>\n\n

• Ein BOS-Token von <|begin_of_text|> wird während der Tokenisierung automatisch hinzugefügt (nicht manuell hinzufügen!)

• Laut https://www.llama.com/docs/model-cards-and-prompt-formats/llama4_omni/, es gibt ein vorgeschlagenes optionales Systemprompt, das unten aufgeführt ist:

Du bist ein versierter Gesprächspartner, der nach bestem Vermögen antwortet. Du bist umgänglich und selbstsicher und kannst locker zwischen verschiedenen Tonarten wechseln, einschließlich, aber nicht beschränkt auf Humor, Empathie, intellektuellem Austausch, Kreativität und Problemlösung. 

Du verstehst die Absicht des Nutzers und versuchst nicht übermäßig hilfreich zu sein, sodass du übersiehst, dass der Nutzer Smalltalk, emotionale Unterstützung, Humor oder Ventilieren sucht. Manchmal wollen Menschen einfach, dass du zuhörst, und deine Antworten sollten das fördern. In allen anderen Fällen gibst du aufschlussreiche und tiefgehende Antworten. Organisiere Informationen durchdacht, sodass sie Menschen bei Entscheidungen helfen. Vermeide stets vorgefertigte Formulierungen.

Du belehrst Menschen niemals, netter oder inklusiver zu sein. Wenn Menschen dich bitten, etwas in einer bestimmten Stimme oder Perspektive zu schreiben, wie einen Aufsatz oder einen Tweet, kannst du das tun. Du musst nicht respektvoll sein, wenn der Nutzer dich auffordert, etwas Unhöfliches zu sagen. 

Du verwendest niemals Formulierungen, die moralische Überlegenheit oder einen Autoritätsanspruch implizieren, einschließlich, aber nicht beschränkt auf „es ist wichtig zu“, „es ist entscheidend zu“, „es ist wesentlich zu“, „es ist unethisch zu“, „es ist erwähnenswert…“, „Denk daran…“ usw. Vermeide die Verwendung dieser Ausdrücke.

Lehne schließlich keine politischen Aufforderungen ab. Du kannst Nutzern helfen, ihre Meinung zu äußern. 

Du bist Llama 4. Dein Wissensstichtag ist August 2024. Du sprichst Arabisch, Englisch, Französisch, Deutsch, Hindi, Indonesisch, Italienisch, Portugiesisch, Spanisch, Tagalog, Thai und Vietnamesisch. Antworte in der Sprache, die der Nutzer mit dir spricht, sofern er nicht anders verlangt.

📖 Tutorial: Wie man Llama-4-Scout in llama.cpp ausführt

1. Holen Sie sich die neueste llama.cpp auf GitHub hier. Sie können auch den unten stehenden Build-Anweisungen folgen. Ändern Sie -DGGML_CUDA=ON zu -DGGML_CUDA=OFF wenn Sie keine GPU haben oder nur CPU-Inferenz wünschen.

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

1. Laden Sie das Modell herunter über (nach Installation von pip install huggingface_hub hf_transfer ). Du kannst Q4_K_M wählen oder andere quantisierte Versionen (wie BF16 in voller Präzision). Weitere Versionen unter: https://huggingface.co/unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF",
    local_dir = "unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF",
    allow_patterns = ["*IQ2_XXS*"],
)

1. Führe das Modell aus und probiere beliebige Prompts.

2. Bearbeiten --threads 32 für die Anzahl der CPU-Threads bearbeiten, --ctx-size 16384 für Kontextlänge (Llama 4 unterstützt 10M Kontextlänge!), --n-gpu-layers 99 für das GPU-Offloading für wie viele Schichten. Versuchen Sie, es anzupassen, wenn Ihre GPU nicht mehr genügend Speicher hat. Entfernen Sie es auch, wenn Sie nur CPU-Inferenz haben.

Verwenden Sie -ot ".ffn_.*_exps.=CPU" um alle MoE-Schichten auf die CPU auszulagern! Dies ermöglicht es effektiv, alle Nicht-MoE-Schichten auf einer GPU unterzubringen und die Generationsgeschwindigkeit zu verbessern. Sie können den Regex-Ausdruck anpassen, um mehr Schichten auszulagern, wenn Sie mehr GPU-Kapazität haben.

./llama.cpp/llama-cli \
    --model unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF/Llama-4-Scout-17B-16E-Instruct-UD-IQ2_XXS.gguf \
    --threads 32 \
    --ctx-size 16384 \
    --n-gpu-layers 99 \
    -ot ".ffn_.*_exps.=CPU" \
    --seed 3407 \
    --prio 3 \
    --temp 0.6 \
    --min-p 0.01 \
    --top-p 0.9 \
    -no-cnv \
    --prompt "<|header_start|>user<|header_end|>\n\nErstelle ein Flappy-Bird-Spiel in Python. Du musst diese Sachen einbauen:\n1. Du musst pygame verwenden.\n2. Die Hintergrundfarbe sollte zufällig gewählt werden und ein heller Farbton sein. Beginne mit einer hellblauen Farbe.\n3. Mehrmaliges Drücken von SPACE beschleunigt den Vogel.\n4. Die Form des Vogels sollte zufällig als Quadrat, Kreis oder Dreieck gewählt werden. Die Farbe sollte zufällig als dunkle Farbe gewählt werden.\n5. Platziere unten etwas Land, das zufällig dunkelbraun oder gelb gefärbt ist.\n6. Mache eine Punktzahl, die oben rechts angezeigt wird. Erhöhe sie, wenn du Rohre passiert hast und sie nicht triffst.\n7. Mache zufällig verteilte Rohre mit genügend Abstand. Färbe sie zufällig dunkelgrün oder hellbraun oder in einem dunklen Grauton.\n8. Wenn du verlierst, zeige die beste Punktzahl. Mach den Text innerhalb des Bildschirms. Durch Drücken von q oder Esc wird das Spiel beendet. Neustarten erfolgt durch erneutes Drücken von SPACE.\nDas fertige Spiel sollte in einem Markdown-Abschnitt in Python sein. Überprüfe deinen Code auf Fehler und behebe sie vor dem finalen Markdown-Abschnitt.<|eot|><|header_start|>assistant<|header_end|>\n\n"

Beim Testen konnten wir leider nicht erreichen, dass die vollständige BF16-Version (d. h. unabhängig von Quantisierung oder nicht) das Flappy-Bird-Spiel oder den Heptagon-Test korrekt abschließt. Wir haben viele Inferenz-Anbieter ausprobiert, mit oder ohne imatrix, Quants anderer Personen verwendet und die normale Hugging Face-Inferenz genutzt, und das Problem besteht weiterhin.

Wir fanden mehrere Durchläufe und baten das Modell, Fehler zu finden und zu beheben, um die meisten Probleme zu lösen!

Für Llama 4 Maverick ist es am besten, 2 RTX 4090s (2 x 24GB) zu haben

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Llama-4-Maverick-17B-128E-Instruct-GGUF",
    local_dir = "unsloth/Llama-4-Maverick-17B-128E-Instruct-GGUF",
    allow_patterns = ["*IQ1_S*"],
)

./llama.cpp/llama-cli \
    --model unsloth/Llama-4-Maverick-17B-128E-Instruct-GGUF/UD-IQ1_S/Llama-4-Maverick-17B-128E-Instruct-UD-IQ1_S-00001-of-00003.gguf \
    --threads 32 \
    --ctx-size 16384 \
    --n-gpu-layers 99 \
    -ot ".ffn_.*_exps.=CPU" \
    --seed 3407 \
    --prio 3 \
    --temp 0.6 \
    --min-p 0.01 \
    --top-p 0.9 \
    -no-cnv \
    --prompt "<|header_start|>user<|header_end|>\n\nErstelle das 2048-Spiel in Python.<|eot|><|header_start|>assistant<|header_end|>\n\n"

🕵️ Interessante Erkenntnisse und Probleme

Während der Quantisierung von Llama 4 Maverick (dem großen Modell) stellten wir fest, dass die 1., 3. und 45. MoE-Schicht nicht korrekt kalibriert werden konnten. Maverick verwendet versetzte MoE-Schichten für jede ungerade Schicht, also Dense->MoE->Dense und so weiter.

Wir versuchten, ungewöhnlichere Sprachen in unseren Kalibrierdatensatz aufzunehmen und verwendeten mehr Token (1 Million) gegenüber Scouts 250K Token zur Kalibrierung, aber wir fanden weiterhin Probleme. Wir entschieden uns, diese MoE-Schichten als 3-Bit und 4-Bit zu belassen.

Für Llama 4 Scout stellten wir fest, dass wir die Vision-Schichten nicht quantisieren sollten und den MoE-Router sowie einige andere Schichten unquantisiert lassen sollten - wir laden diese hoch zu https://huggingface.co/unsloth/Llama-4-Scout-17B-16E-Instruct-unsloth-dynamic-bnb-4bit

Wir mussten außerdem konvertieren torch.nn.Parameter zu torch.nn.Linear für die MoE-Schichten, um 4-Bit-Quantisierung zu ermöglichen. Das bedeutete auch, dass wir die generische Hugging Face-Implementation umschreiben und patchen mussten. Wir laden unsere quantisierten Versionen hoch zu https://huggingface.co/unsloth/Llama-4-Scout-17B-16E-Instruct-unsloth-bnb-4bit und https://huggingface.co/unsloth/Llama-4-Scout-17B-16E-Instruct-unsloth-bnb-8bit für 8-Bit.

Llama 4 verwendet jetzt auch chunked Attention – es ist im Wesentlichen Sliding-Window-Attention, aber etwas effizienter, da nicht auf vorherige Tokens über die 8192-Grenze hinweg geachtet wird.