🦥Unsloth Dynamic 3.0 GGUFs
Unsloth Dynamic v3.0 ist die nächste Iteration unserer dynamischen Quantisierung und eine deutliche Verbesserung gegenüber Dynamic v2.0.
Heute veröffentlichen wir Qwen3.8-27B Dynamic v3.0-Quants, die >10 % genauere Top-1%-Genauigkeit bei gleicher Größe im Vergleich zu jedem anderen Anbieter. Dies ist ein Update unserer ersten gemeinsamen frühen Vorschau Version von Dynamic v3.0. Die neuen 3.0 GGUFs funktionieren mit den meisten Inferenz-Engines, darunter llama.cpp und Unsloth Desktop.
Dynamic v3.0 bewahrt insgesamt mehr Modellqualität bei gleicher Größe und erzielt stärkere Ergebnisse bei Kennzahlen wie Divergence-300 @32 und KL-Divergenz.
Außerdem ein riesiges Dankeschön für eure ganze Unterstützung! Wir haben in nur 5 Tagen über 5,1 Millionen Unsloth-Qwen3.8-Downloads gesehen!
Unsere neue Methodik besteht aus vielen neuen Funktionen und Verbesserungen. Wir verwenden jetzt einen deutlich qualitativ hochwertigeren imatrix-Kalibrierungsdatensatz aus vielfältigen Quellen. Der Datensatz ist verfeinert für agentisches Coding, Chatund mehrsprachige Leistung. Wir haben außerdem Layer-Auswahl verbessert und viele weitere Quantisierungstechniken eingeführt, um so viel Modellqualität wie möglich zu bewahren.
Wir trainieren nicht auf dem imatrix-Kalibrierungsdatensatz, und wir verwenden KEIN QAT oder QAD. Alles geschieht durch Post-Training-Quantisierung. Unsere verwendete imatrix-Datei steht der Community zum Testen, Bewerten und Verwenden zur Verfügung. Wir ermutigen Forschende und Entwickler, Varianten und Feintunings von Qwen3.8 mit unseren Unsloth-Quants/imatrix zu erstellen. Sie können auch unsere Überfitting-Analyse lesen.
Wir haben außerdem das MTP-Modul aus kleineren Quants unter
UD-Q2_K_XL(8,37 GB und kleiner) entfernt, um rund 500 MB Festplattenspeicher einzusparen – falls nötig, können Sie dasQ4_0MTP-Teilmodul verwendenWir haben außerdem einige kleinere UD-1bit-Quants mit
UD-IQ1_Serstellt, das 6,2 GB (ohne MTP) groß ist und rund 72 % Top-1%-Genauigkeit beibehält, dabei aber 89 % kleiner ist.UD-Q2_K_XLliegt bei etwa +8 % höherer Top-1%-Genauigkeit als der nächstbeste und ist 9,83 GB groß und konnte ein funktionierendes HTML-Programm mit einem kleinen JS-Fehler erzeugen – zuvor wäre es kaputtgegangen.
🔀 Divergence-300 @32
Wir berichten im Allgemeinen über Top-1%-Genauigkeit, ähnlich wie bei Kimi-K3: „Dynamic 1-bit erreicht ~78.9% Top-1-Genauigkeit bei 62 % kleiner“. Allerdings ist Top-1 % ein Argmax über 1 Vorhersage, also nicht wirklich effektiv, um die tatsächliche Inferenz zu bewerten.
Wir haben einen Datensatz mit 300 zurückgehaltenen Beispielen (NICHT im Kalibrierungsdatensatz) aus Terminal-Bench 2.1 + DeepSWE + Harbor + MathArena 2025–26 + nicht-lateinischen/längeren Dokument-Prompts erstellt und für 32 Tokens Greedy-Argmax-Decoding für BF16 im Vergleich zu allen Quants und Anbietern durchgeführt. Siehe Überfitting-Analyse für weitere Details zum Overfitting.
Dies ermöglicht uns zu beurteilen, ob Overfitting vorliegt und ob Quant-Ausgaben über mehrere Tokens hinweg ähnlich zu den Trajektorien von BF16 sind. Das ist eine bessere Kennzahl als Top-1%-Genauigkeit, da wir KLD-Top-1 % eher auf KLD-Top-1 % bei 32 Tokens erweitern.
❓1-bit sollte nicht für agentische Anwendungsfälle verwendet werden
Wie in 🔀 Divergence-300 @32zu sehen ist, gibt es einen deutlichen Einbruch von UD-Q2_K_XL zu UD-IQ2_S bei der Vorhersage über 32 Tokens von etwa 25 % Genauigkeit auf unter 8–10 %. Dieser starke Einbruch bedeutet, dass Tool-Calling und Nicht-Denk-Modi zusammenbrechen. Einige Probleme und Gegenmaßnahmen bei Verwendung von 1-bit:
Übermäßige Schleifen Sie werden beim Einsatz von Quants unterhalb von UD-Q2_K_XL viele Schleifen sehen – verwenden Sie
presence_penalty = 1,5in allen Fällen (oder höher)Leere Antworten Aktivieren Sie bei 1-bit-Quants immer mindestens Denken auf niedrigem Reasoning-Level – Nicht-Reasoning-Modi führen dazu, dass das Modell ohnehin nichts ausgibt
Agentische Anwendungsfälle und Tool-Calling Verwenden Sie das Modell nicht für Tool-Calling – nur Allgemeinwissen bleibt erhalten wenn stark quantisiert wird, und das Modell wird entweder nicht in der Lage sein, Tools aufzurufen, immer weiter Tools aufrufen oder sie gar nicht erst aufrufen.
Allgemeinwissen funktioniert Eine Top-1%-Erholung von 77 % ist kein Ersatz für Divergence-300 @32 mit 8 %, was ein besserer Indikator für tatsächliche Inferenz-Workloads ist – Sie können das Modell für sehr kurze allgemeine Wissensfragen verwenden, aber am besten ist es, UD-Q2_K_XL zu nutzen.
🔀 KL-Divergenz-Benchmarks
Wir haben auch KLD-Benchmarks für alle Anbieter durchgeführt und berichten Top-1 % und mittlere KLD. Auf allen Ebenen, besonders bei den kleineren Quantgrößen, erreichen Unsloth-UD-3-Quants bis zu +10 % zusätzliche Top-1%-Genauigkeit bei gleichem Festplattenspeicher!
Alle Diagramme entfernen den MTP-Head von der x-Achse bei der Berechnung des Festplattenspeichers, um einen fairen Vergleich für alle zu ermöglichen.
🕊️Kein Overfitting
Beim Vergleich mit unserem älteren UD-2 auf ungesehenem Wikitext und Code zeigen wir eine starke Verbesserung bei KLD – bei den größeren nicht so sehr, daher verwenden wir für die größeren Quants weiterhin unser altes UD-2 – wir planen, auch dort zu experimentieren und sie zu verbessern!
Wir kontrollieren außerdem für Overfitting, indem wir völlig unterschiedliche Datensätze für die Kalibrierung verwenden und alle Lecks so weit wie möglich entfernen. Wir testen KLD auf diesen ungesehenen Datensätzen und wir machen auch KEIN QAD / QAT, sondern nur reines PTQ, sodass Overfitting im Vergleich zu anderen QAD / QAT-Ansätzen weniger problematisch ist.
Ähnlich 🔀 Divergence-300 @32 verwendet einen ungesehenen Datensatz mit 300 Prompts aus DeepSWE, Terminal Bench und anderen und dient als weiterer Datensatz zur Bewertung von Overfitting – und zeigt, dass unsere neuen UD-3-Methoden nicht überfitten.
Dynamic v2.0 (Alt)
Wir führen ein Unsloth Dynamic v2.0-Quantisierung ein – ein großes Upgrade gegenüber unseren vorherigen Quants. Diese neue Methode übertrifft führende Quantisierungsmethoden und setzt neue Benchmarks für Aider Polyglotsowie 5-shot MMLU und KL-Divergenz.
Das bedeutet, dass Sie jetzt quantisierte LLMs ausführen + feinabstimmen können, während so viel Genauigkeit wie möglich erhalten bleibt! Sie können die 2.0 GGUFs auf den meisten Inferenz-Engines wie llama.cpp, Unsloth Studio usw. ausführen.
Update vom 20. Apr. 2026: Siehe unsere neuen GGUF-Benchmarks für Qwen3.6 und Gemma 4.
Update vom 27. Feb. 2026: Qwen3.5 ist da, und wir haben einige Probleme mit Chat-Templates beim Tool-Calling behoben und jeden GGUF hinsichtlich Perplexität und KL-Divergenz bewertet. Siehe Benchmarks!
Der entscheidende Vorteil bei der Verwendung des Unsloth-Pakets und der Quants ist unsere aktive Rolle beim Beheben von Bugs in großen Modellen. Wir haben direkt mit Teams hinter Qwen3, Meta (Llama 4), Mistral (Devstral), Google (Gemma 1–3) und Microsoft (Phi-3/4)zusammengearbeitet und Fixes beigetragen, die die Genauigkeit erhöhen.
Unsloth Dynamic GGUFs können jetzt ausgeführt werden in Unsloth Studio ✨
Update vom 10. Sept. 2025: Ihr habt nach schwierigeren Benchmarks gefragt, also hier sind die Aider-Polyglot-Ergebnisse! Unser Dynamic-3-bit-DeepSeek-V3.1-GGUF erzielt 75.6%und übertrifft damit viele SOTA-LLMs in voller Präzision. Mehr lesen.
Sie können auch Benchmarks für reale Anwendungsfälle ansehen, die von Benjamin Marie für LiveCodeBench v6, MMLU Pro usw. durchgeführt wurden:
Sie können sehen, wie Unsloths GGUFs besser abschneiden als die Nicht-Unsloth-Quants, obwohl sie ~8 GB kleiner sind.
Eine detaillierte Analyse unserer Benchmarks und Bewertung finden Sie weiter unten.
💡 Was ist neu in Dynamic v2.0?
Überarbeitete Layer-Auswahl für GGUFs + safetensors: Unsloth Dynamic 2.0 quantisiert jetzt selektiv Layer viel intelligenter und umfassender. Anstatt nur ausgewählte Layer zu ändern, passen wir jetzt dynamisch den Quantisierungstyp jedes möglichen Layers an, und die Kombinationen unterscheiden sich je Layer und Modell.
Alle aktuell ausgewählten und alle zukünftigen GGUF-Uploads werden Dynamic 2.0 und unseren neuen Kalibrierungsdatensatz verwenden. Der Datensatz enthält mehr als >1,5 Mio. Tokens (je nach Modell) und besteht aus hochwertigen, handkuratierten und bereinigten Daten – um die Gesprächsleistung deutlich zu verbessern.
Zuvor war unsere dynamische Quantisierung (DeepSeek-R1 1,58-Bit-GGUF) nur für MoE-Architekturen wirksam. Dynamic 2.0-Quantisierung funktioniert jetzt bei allen Modellen (einschließlich MOEs und Nicht-MOEs).
Modellspezifische Quants: Jedes Modell verwendet jetzt ein maßgeschneidertes Quantisierungsschema. Z. B. unterscheiden sich die in Gemma 3 quantisierten Layer erheblich von denen in Llama 4.
Um die Effizienz zu maximieren, insbesondere auf Apple Silicon und ARM-Geräten, fügen wir jetzt auch die Formate Q4_NL, Q5.1, Q5.0, Q4.1 und Q4.0 hinzu.
Um genaue Benchmarks zu gewährleisten, haben wir ein internes Bewertungsframework entwickelt, das die offiziell berichteten 5-shot-MMLU-Werte von Llama 4 und Gemma 3 nachbildet. Dies ermöglichte einen direkten Vergleich von Full-Precision vs. Dynamic v2.0, QAT und standardmäßigen imatrix GGUF-Quants.
Alle zukünftigen GGUF-Uploads werden Unsloth Dynamic 2.0 verwenden, und unsere Dynamic 4-bit-Safetensor-Quants werden davon in Zukunft ebenfalls profitieren.
📊 Warum KL-Divergenz?
Genauigkeit ist nicht alles, was Sie brauchen zeigt, wie das Beschneiden von Layern, selbst durch die Auswahl unnötiger, dennoch enorme Unterschiede in Bezug auf „Flips“ erzeugt. Ein „Flip“ ist definiert als ein Wechsel der Antwort von falsch zu richtig oder umgekehrt. Das Paper zeigt, dass MMLU möglicherweise nicht sinkt, wenn wir Layer beschneiden oder quantisieren, aber das liegt daran, dass einige falsche Antworten möglicherweise „geflippt“ sind und korrekt wurden. Unser Ziel ist es, das ursprüngliche Modell zu replizieren, daher ist das Messen von „Flips“ eine gute Kennzahl.
Das Paper zeigt auch interessanterweise, dass KL-Divergenz stark mit Flips korreliert, und daher ist unser Ziel, die mittlere KL-Divergenz zu verringern und gleichzeitig die Zunahme des Festplattenspeichers durch die Quantisierung so gering wie möglich zu halten.
⚖️ Überfitting des Kalibrierungsdatensatzes
Die meisten Frameworks berichten Perplexity und KL-Divergenz anhand eines Testsets aus Wikipedia-Artikeln. Uns ist jedoch aufgefallen, dass die Verwendung des Kalibrierungsdatensatzes, der ebenfalls Wikipedia-bezogen ist, dazu führt, dass Quants überfitten und niedrigere Perplexity-Werte erreichen. Wir verwenden Calibration_v3 und Calibration_v5 Datensätze für faire Tests, die unter anderem einige Wikitext-Daten enthalten. Auch Instruct-Modelle haben einzigartige Chat-Templates, und die Verwendung reiner Text-Kalibrierungsdatensätze ist für Instruct-Modelle nicht effektiv (Base-Modelle ja). Tatsächlich werden die meisten imatrix-GGUFs typischerweise mit diesen Problemen kalibriert. Infolgedessen schneiden sie bei KL-Divergenz-Benchmarks, die ebenfalls Wikipedia-Daten verwenden, natürlicherweise besser ab, da das Modell im Wesentlichen für diese Domäne optimiert ist.
Um eine faire und kontrollierte Bewertung zu gewährleisten, verwenden wir beim Benchmarking der KL-Divergenz nicht unseren eigenen Kalibrierungsdatensatz (der für Chat-Leistung optimiert ist). Stattdessen führten wir Tests mit denselben Standard-Wikipedia-Datensätzen durch, sodass wir die Leistung unserer Dynamic-2.0-Methode direkt mit dem Baseline-imatrix-Ansatz vergleichen konnten.
🔢 Das MMLU-Replikationsabenteuer
Die Replikation von MMLU 5-shot war ein Albtraum. Wir konnten die MMLU-Ergebnisse für viele Modelle, einschließlich Llama 3.1 (8B) Instruct, Gemma 3 (12B) und andere, nicht reproduzieren, aufgrund von subtilen Implementierungsproblemen. Llama 3.1 (8B) sollte beispielsweise ~68,2 % erreichen, während falsche Implementierungen 35 % Genauigkeit.
Llama 3.1 (8B) Instruct hat mit einer naiven MMLU-Implementierung eine 5-shot-MMLU-Genauigkeit von 67,8 %. Wir finden jedoch, dass Llama tokenisiert "A" und "_A" (A mit einem Leerzeichen davor) als unterschiedliche Token-IDs. Wenn wir sowohl Tokens mit als auch ohne Leerzeichen berücksichtigen, erhalten wir 68,2 % (+0.4%)
Interessanterweise hängt Llama 3 laut Eleuther AIs LLM Harness fügt auch "Die beste Antwort ist" zur Frage hinzu, gemäß Llama 3s ursprünglichen MMLU-Benchmarks.
Es gibt viele weitere subtile Probleme, und um alles in einer kontrollierten Umgebung zu benchmarken, haben wir unsere eigene MMLU-Implementierung von Grund auf entwickelt, indem wir github.com/hendrycks/test direkt untersucht und unsere Ergebnisse über mehrere Modelle hinweg überprüft und mit veröffentlichten Zahlen verglichen haben.
✨ Gemma 3 QAT-Replikation, Benchmarks
Das Gemma-Team veröffentlichte zwei QAT-(Quantization-Aware-Training)-Versionen von Gemma 3:
Q4_0 GGUF - quantisiert alle Layer auf Q4_0 über die Formel
w = q * block_scalewobei jeder Block 32 Gewichte hat. Siehe llama.cpp-Wiki für weitere Details.int4-Version – vermutlich TorchAO-int4-Stil?
Wir haben alle Q4_0-GGUF-Versionen benchmarked und umfangreiche Experimente am 12B-Modell durchgeführt. Wir sehen, dass das 12B Q4_0 QAT-Modell 67,07 % erreicht während die vollständige bfloat16-12B-Version bei 5-shot MMLU 67,15 % erreicht. Das ist sehr beeindruckend! Das 27B-Modell ist größtenteils schon fast dort!
MMLU 5-shot
26.12%
55.13%
67,07 % (67,15 % BF16)
70,64 % (71,5 % BF16)
Festplattenspeicher
0,93 GB
2,94 GB
7,52 GB
16,05 GB
Effizienz*
1.20
10.26
5.59
2.84
Wir haben eine neue Effizienzmetrik entworfen, die den Nutzen des Modells berechnet und dabei auch seine Festplattengröße und den MMLU-5-shot-Score berücksichtigt:
Wir müssen 25 abziehen da MMLU 4 Antwortmöglichkeiten hat – A, B, C oder D. Nehmen wir an, wir bauen ein Modell, das einfach zufällig Antworten auswählt – es würde 25 % Genauigkeit erreichen und nur einige Bytes Festplattenspeicher belegen. Aber offensichtlich ist das kein nützliches Modell.
Zur KL-Divergenz im Vergleich zum Basismodell zeigt die folgende Tabelle die Verbesserungen. Erinnerung: Je näher die KL-Divergenz bei 0 liegt, desto besser (d. h. 0 bedeutet identisch zum Full-Precision-Modell)
IQ1_S
1.035688
5.83
0.972932
6.06
IQ1_M
0.832252
6.33
0.800049
6.51
IQ2_XXS
0.535764
7.16
0.521039
7.31
IQ2_M
0.26554
8.84
0.258192
8.96
Q2_K_XL
0.229671
9.78
0.220937
9.95
Q3_K_XL
0.087845
12.51
0.080617
12.76
Q4_K_XL
0.024916
15.41
0.023701
15.64
Wenn wir das Verhältnis von Anstieg des Festplattenspeichers und Änderung des KL-Divergenz-Verhältnisses plotten, sehen wir einen viel klareren Vorteil! Unser dynamisches 2-Bit-Q2_K_XL reduziert KLD ziemlich stark (etwa 7,5 %).
Gekürzte Ergebnistabelle für MMLU für Gemma 3 (27B). Siehe unten.
Unsere dynamische 4-Bit-Version ist 2 GB kleiner und hat dabei +1 % zusätzliche Genauigkeit gegenüber der QAT-Version!
In Sachen Effizienz scheinen 2bit Q2_K_XL und andere sehr gut abzuschneiden!
IQ1_M
48.10
47.23
6.51
3.42
IQ2_XXS
59.20
56.57
7.31
4.32
IQ2_M
66.47
64.47
8.96
4.40
Q2_K_XL
68.70
67.77
9.95
4.30
Q3_K_XL
70.87
69.50
12.76
3.49
Q4_K_XL
71.47
71.07
15.64
2.94
Google QAT
70.64
17.2
2.65
🦙 Llama-4-Bugfixes + Ausführung
Wir haben außerdem bei einigen Llama-4-Bugs geholfen und diese behoben:
Llama 4 Scout hat die RoPE-Scaling-Konfiguration in ihrem offiziellen Repo geändert. Wir haben bei der Behebung von Problemen in llama.cpp geholfen, um dies zu ermöglichen Änderung hier
Das Epsilon von Llama 4s QK Norm für sowohl Scout als auch Maverick sollte aus der Config-Datei stammen – das bedeutet 1e-05 und nicht 1e-06 zu verwenden. Wir haben bei der Behebung dieser Probleme in llama.cpp und transformers
Das Llama-4-Team und vLLM haben außerdem unabhängig voneinander ein Problem behoben, bei dem QK Norm über alle Heads hinweg geteilt wurde (das sollte nicht so sein) hier. MMLU Pro stieg von 68,58 % auf 71,53 % Genauigkeit.
Wolfram Ravenwolf zeigte, wie unsere GGUFs über llama.cpp eine deutlich höhere Genauigkeit erreichen als Inferenzanbieter von Drittanbietern – dies war höchstwahrscheinlich eine Kombination der oben erläuterten Probleme und vermutlich auch auf Quantisierungsprobleme zurückzuführen.
Wie in unserem Diagramm gezeigt, liefern unsere 4-Bit-Dynamic-QAT-Quantisierung bessere Leistung bei 5-shot MMLU und sind gleichzeitig kleiner.
Llama 4 Scout ausführen:
Um beispielsweise Llama 4 Scout auszuführen, klonen Sie zuerst llama.cpp:
Dann laden Sie unsere neue dynamische v 2.0-Quant für Scout herunter:
Und los geht's mit der Inferenz!
Mehr zum Ausführen von Llama 4 hier lesen: https://docs.unsloth.ai/basics/tutorial-how-to-run-and-fine-tune-llama-4
Zuletzt aktualisiert
War das hilfreich?