> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/modelle/qwen3.5/gguf-benchmarks.md).

# Qwen3.5 GGUF-Benchmarks

Sieh dir an, wie Unsloth Dynamic GGUFs abschneiden + Analyse von Perplexität, KL-Divergenz und MXFP4.

Wir haben alle aktualisiert [Qwen3.5](/docs/de/modelle/qwen3.5.md) Unsloth Dynamic-Quants **SOTA zu sein** bei fast allen Bits. Wir haben über 150 KL-Divergenz-Benchmarks durchgeführt, insgesamt **9 TB GGUFs**. Wir haben alle Forschungsergebnisse hochgeladen.

Wir haben außerdem ein **Tool-Aufrufe** Problem mit der Chat-Vorlage **(betrifft alle Quant-Uploader und -Typen, unabhängig davon, wo Sie es verwenden oder woher es stammt)**.

{% hint style="success" %}
[**Update vom 5. März**](#id-4-march-5th-2026-update-more-robustness)**:** Qwen3.5- erneut herunterladen**35B**, **27B,** **122B** und **397B.**

* Alle GGUFs sind jetzt mit einer **verbesserten Quantisierung** Algorithmus ein.
* Alle verwenden unsere **neuen imatrix-Daten**. Sehen Sie einige Verbesserungen bei Chat-, Coding-, Langkontext- und Tool-Calling-Anwendungsfällen.

**Neue Benchmarks** für Qwen3.5-122B-A10B und 35-A3B jetzt verfügbar!
{% endhint %}

{% hint style="info" %}
Möchten Sie sehen, wie man das Modell ausführt + die Hardwareanforderungen? Lesen Sie unseren [Inference-Leitfaden](/docs/de/modelle/qwen3.5.md).
{% endhint %}

**99,9 % KL-Divergenz zeigt SOTA** auf der Pareto-Grenze für [Unsloth Dynamic](/docs/de/grundlagen/dynamic-3.0-ggufs.md) `Q4_K_XL`, `IQ3_XXS` usw.:

<div><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F1XLNe1MoxtF1ODs5gDej%2F122b%20final.png?alt=media&amp;token=9eee5d8d-f16c-4c3f-8e36-18856e5609aa" alt="" width="563"><figcaption><p>Qwen3.5-<strong>122B-A10B</strong> Benchmarks</p></figcaption></figure> <figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FAeecRAsAA3lxJ36HI8pO%2Fhoriztonal%20plot.png?alt=media&amp;token=173d4050-9442-4d2b-9f1b-ee8bd0d423df" alt="" width="563"><figcaption><p>Qwen3.5-<strong>35B-A3B</strong> Benchmarks</p></figcaption></figure></div>

* Imatrix hilft definitiv, KLD und PPL zu reduzieren, allerdings auf Kosten einer um 5–10 % langsameren Inferenz.
* Wir haben unsere GGUFs gegen viele andere Anbieter getestet
* ssm\_out (Mamba-Layer) zu quantisieren ist keine gute Idee, ebenso wenig ffn\_down\_exps.
* **Abschied von MXFP4** aus allen GGUF-Quants: Q2\_K\_XL, Q3\_K\_XL und Q4\_K\_XL, außer reinem MXFP4\_MOE.

| [Qwen3.5-35B-A3B](https://huggingface.co/unsloth/Qwen3.5-35B-A3B-GGUF) | [Qwen3.5-27B](https://huggingface.co/unsloth/Qwen3.5-27B-GGUF) | [Qwen3.5-122B-A10B](https://huggingface.co/unsloth/Qwen3.5-122B-A10B-GGUF) | [Qwen3.5-397B-A17B](https://huggingface.co/unsloth/Qwen3.5-397B-A17B-GGUF) |
| ---------------------------------------------------------------------- | -------------------------------------------------------------- | -------------------------------------------------------------------------- | -------------------------------------------------------------------------- |

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FHq3gIokmPZJRYlnKVFmH%2FHCp7gV9XgAEP5og.png?alt=media&amp;token=a1268383-1648-45f8-996d-c89c7dde3706" alt="" width="563"><figcaption><p>Neue Qwen3.5-9B-GGUF-Benchmarks von Benjamin Marie durchgeführt</p></figcaption></figure>

### 1) **Einige Tensoren sind sehr empfindlich gegenüber Quantisierung**

* Wir haben über 9 TB an Forschungsergebnissen für die Community verfügbar gemacht, damit sie auf unserer weiter untersuchen kann [Experimenteseite](https://huggingface.co/unsloth/Qwen3.5-35B-A3B-Experiments-GGUF). Es enthält KLD-Metriken und alle 121 Konfigurationen, die wir getestet haben.
* Wir haben die Bitbreiten für jeden Tensor-Typ variiert und unten einen Plot der besten und schlechtesten Pareto-Grenze gegenüber 99,9 % KLD erstellt.
* Bei den am besten zu quantisierenden Elementen lassen sich ffn\_up\_exps und ffn\_gate\_exps im Allgemeinen gut auf 3 Bit quantisieren. ffn\_down\_exps ist etwas empfindlicher.
* Bei den schlechtesten Elementen erhöht ssm\_out KLD drastisch, und die Speicherplatzersparnis ist winzig. Zum Beispiel ist ssm\_out bei q2\_k dramatisch schlechter. **Das Quantisieren von attn\_\* ist besonders empfindlich** bei hybriden Architekturen, daher funktioniert es gut, sie in höherer Präzision zu belassen.

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F485gYwcqz2az5Pm9v3u3%2Fnew-qwen3-5-35b-a3b-unsloth-dynamic-ggufs-benchmarks-v0-pakdmbv1n2mg1.webp?alt=media&amp;token=2eeb55ca-51f3-402a-ae30-ea078c7554da" alt="" width="563"><figcaption></figcaption></figure>

{% columns %}
{% column %}
**Tensor-Typ vs. Bits bei 99,9 % KL-Divergenz**

* Wir stellen alle Quantisierungsstufen gegenüber 99,9 % KLD dar und sortieren von der schlechtesten KLD zur besten. ffn\_\*-Layer zu stark herunter zu quantisieren ist keine gute Idee.
* Allerdings **einige Bitbreiten sind gut, insbesondere 3 Bit**. - zum Beispiel scheint es, ffn\_\* (down, up, gate) ungefähr bei iq3\_xxs zu belassen, der beste Kompromiss zwischen Speicherplatz und 99,9 % KLD-Änderung zu sein. 2 Bit verursachen mehr Verschlechterung.
  {% endcolumn %}

{% column %}

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FcE0WAmPVddczWC3dQsWS%2Fnew-qwen3-5-35b-a3b-unsloth-dynamic-ggufs-benchmarks-v0-squz1jz4n2mg1.webp?alt=media&amp;token=3a31adf1-7c4c-446c-91a7-48e63d223189" alt="" width="188"><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

**MXFP4 ist bei vielen Tensoren viel schlechter** - attn\_gate, attn\_q, ssm\_beta, ssm\_alpha mit MXFP4 zu verwenden ist keine gute Idee; Q4\_K ist stattdessen besser - außerdem verwendet MXFP4 4,25 Bit pro Gewicht, während Q4\_K 4,5 Bit pro Gewicht verwendet. Wenn man zwischen beiden wählt, ist Q4\_K besser als MXFP4.

<div><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FH8FliHXsetx9lLoKelPX%2Fnew-qwen3-5-35b-a3b-unsloth-dynamic-ggufs-benchmarks-v0-xgugdgzmv2mg1.webp?alt=media&amp;token=f0c49e94-571e-4883-84fe-2c4634d425eb" alt="" width="563"><figcaption></figcaption></figure> <figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FEWsX87d1Ig42Uk81fpJo%2Ffixed%20the%20grapg.png?alt=media&amp;token=323932fd-8344-4f6c-b8c3-47cc1b1f6ccf" alt="" width="563"><figcaption><p>Wie Sie sehen, ist MXFP4 ungewöhnlich hoch</p></figcaption></figure></div>

### **2) Imatrix funktioniert sehr gut**

* Imatrix hilft definitiv, den Quantisierungsprozess in die richtige Weise zu gewichten. Zum Beispiel war ssm\_out bei 2 Bit früher wirklich schlecht, jedoch reduziert imatrix die 99,9 % KLD stark.
* Imatrix hilft im Allgemeinen bei niedrigeren Bits und funktioniert bei allen Quants und Bitbreiten.
*

```
<figure><img src="/files/f11fe22e3724af268b5c7bdec1ebff5059823ffe" alt=""><figcaption></figcaption></figure>
```

I-Quants (iq3\_xxs, iq2\_s usw.) machen die Inferenz 5–10 % langsamer, sie sind in puncto Effizienz definitiv besser, aber es gibt einen Kompromiss.

| Typ      | pp512 (≈) | tg128 (≈) |
| -------- | --------- | --------- |
| mxfp4    | 1978.69   | 90.67     |
| q4\_k    | 1976.44   | 90.38     |
| q3\_k    | 1972.61   | 91.36     |
| q6\_k    | 1964.55   | 90.50     |
| q2\_k    | 1964.20   | 90.77     |
| q8\_0    | 1964.17   | 90.33     |
| q5\_k    | 1947.74   | 90.72     |
| iq3\_xxs | 2030.94   | 85.68     |
| iq2\_xxs | 1997.64   | 85.79     |
| iq3\_s   | 1990.12   | 84.37     |
| iq2\_xs  | 1967.85   | 85.19     |
| iq2\_s   | 1952.50   | 85.04     |

### **3) Perplexität & KLD können irreführend sein**

Perplexität und KLD können irreführend sein, da sie stark von der Kalibrierung beeinflusst werden. Die meisten GGUFs werden auf Wiki-test mit 512-Kontextfenstern bewertet, daher verschieben sich die Ergebnisse stark, wenn der imatrix-Kalibrierungssatz des GGUF Wikipedia-ähnliche Samples mit 512 Kontexten enthält (wie die meisten GGUFs). Deshalb zeigen unsere GGUFs manchmal eine höhere Perplexität, da unsere imatrix-Daten stattdessen eher lange Chat- und Tool-Calling-Beispiele verwenden.

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FhfO2gsbz2lWrZXg3ojyE%2FHCGBTzgboAASv_A.png?alt=media&amp;token=7d6334ca-4f3c-4946-aacd-d55527375fce" alt="" width="563"><figcaption></figcaption></figure>

[Benjamins jüngste MiniMax‑M2.5-Analyse](https://x.com/bnjmn_marie/status/2027043753484021810) zeigt einen Fall, wie Perplexität und KLD sehr irreführend sein können. Unsloth Dynamic IQ2\_XXS schneidet bei realen Evaluationen (LiveCodeBench v6, MMLU Pro) besser ab als AesSedais IQ3\_S, obwohl es 11 GB kleiner ist. Dennoch deuten AesSedais Perplexitäts- und KLD-Benchmarks auf das Gegenteil hin. (PPL: 0,3552 vs. 0,2441; KLD: 9,0338 vs. 8,2849 - niedriger ist besser).

<div><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F7csgZI82adnvKmQQVlp1%2F01_kld_vs_filesize_pareto.png?alt=media&amp;token=d907a2c0-7df5-4e6a-9d9b-0524c8e6ae77" alt="" width="188"><figcaption><p>KL-Divergenz - AesSedai</p></figcaption></figure> <figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fd8KBa3uNhkDEZzq32v7q%2F02_ppl_vs_filesize_pareto.png?alt=media&amp;token=d471fce1-7482-4fde-bc98-2d10503253a4" alt="" width="188"><figcaption><p>Perplexität - AesSedai</p></figcaption></figure></div>

Diese Diskrepanz zeigt, dass niedrigere Perplexität oder KLD nicht unbedingt zu besserer Leistung in der Praxis führt. Der Graph zeigt auch, dass UD‑Q4-K‑XL andere Q4-Quants übertrifft und dabei rund 8 GB kleiner ist. Das bedeutet nicht, dass Perplexität oder KLD nutzlos ist, da sie ein grobes Signal liefern. Deshalb werden wir künftig Perplexität und KLD für jedes Quant veröffentlichen, damit die Community einen Referenzpunkt hat.

### 4) Update vom 5. März 2026 - mehr Robustheit

Wir haben unsere Quantisierungsmethode für Qwen3.5 MoEs weiter verbessert, um die maximale KLD direkt zu verringern. 99,9 % wird allgemein verwendet, aber bei massiven Ausreißern kann maximale KLD nützlich sein. Unsere neue Methode drückt die maximale KLD im Vergleich zum Update vor dem 5. März im Allgemeinen deutlich nach unten.

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fqxt3Dv8HIOWG8y3RvNYf%2FCode_Generated_Image(11).png?alt=media&amp;token=54e20159-4243-42cf-89de-d2c9d7b6409b" alt=""><figcaption></figcaption></figure>

| Quant        | Alte GB    | Neue GB      | Alte max. KLD | Neue max. KLD      |
| ------------ | ---------- | ------------ | ------------- | ------------------ |
| UD-Q2\_K\_XL | 12.0       | ***11.3***   | 8.237         | ***8.155***        |
| UD-Q3\_K\_XL | 16.1       | ***15.5***   | 5.505         | ***5.146***        |
| UD-Q4\_K\_XL | ***19.2*** | 20.7 (+7.8%) | 5.894         | ***2.877 (-51%)*** |
| UD-Q5\_K\_XL | ***23.2*** | 24.6 (+6%)   | 5.536         | ***3.210 (-42%)*** |

### Vollständige Benchmarks

| Quantisierer | Quantisierungsstufe | Speicherplatz (GB) | PPL    | KLD 99,9 % | Mittlere KLD |
| ------------ | ------------------- | ------------------ | ------ | ---------- | ------------ |
| AesSedai     | IQ3\_S              | 12.65              | 6.9152 | 1.8669     | 0.0613       |
| AesSedai     | IQ4\_XS             | 16.4               | 6.6447 | 0.8067     | 0.0235       |
| AesSedai     | Q4\_K\_M            | 20.62              | 6.5665 | 0.3171     | 0.0096       |
| AesSedai     | Q5\_K\_M            | 24.45              | 6.5356 | 0.21       | 0.0058       |
| Ubergarm     | Q4\_0               | 19.79              | 6.5784 | 0.4829     | 0.0142       |
| Unsloth      | IQ2\_XXS            | 9.09               | 7.716  | 4.2221     | 0.1846       |
| Unsloth      | Q2\_K\_XL           | 12.04              | 7.0438 | 2.9092     | 0.097        |
| Unsloth      | IQ3\_XXS            | 13.12              | 6.7829 | 1.5296     | 0.0501       |
| Unsloth      | IQ3\_S              | 14.13              | 6.7715 | 1.4193     | 0.0457       |
| Unsloth      | Q3\_K\_M            | 15.54              | 6.732  | 0.9726     | 0.0324       |
| Unsloth      | Q3\_K\_XL           | 16.06              | 6.7245 | 0.9539     | 0.0308       |
| Unsloth      | MXFP4\_MOE          | 18.17              | 6.6    | 0.7789     | 0.0272       |
| Unsloth      | Q4\_K\_M            | 18.49              | 6.6053 | 0.5478     | 0.0192       |
| Unsloth      | Q4\_K\_L            | 18.82              | 6.5905 | 0.4828     | 0.015        |
| Unsloth      | Q4\_K\_XL           | 19.17              | 6.5918 | 0.4097     | 0.0137       |
| Unsloth      | Q5\_K\_XL           | 23.22              | 6.5489 | 0.236      | 0.0069       |
| Unsloth      | Q6\_K\_S            | 26.56              | 6.5456 | 0.2226     | 0.0065       |
| Unsloth      | Q6\_K\_XL           | 28.22              | 6.5392 | 0.1437     | 0.0041       |
| Unsloth      | Q8\_K\_XL           | 36.04              | 6.5352 | 0.1033     | 0.0026       |
| bartowski    | Qwen\_IQ2\_XXS      | 8.15               | 9.3427 | 6.0607     | 0.3457       |
| bartowski    | Qwen\_Q2\_K\_L      | 11.98              | 7.5504 | 3.8095     | 0.1559       |
| bartowski    | Qwen\_IQ3\_XXS      | 12.94              | 7.0938 | 2.1563     | 0.0851       |
| bartowski    | Qwen\_Q3\_K\_M      | 14.95              | 6.772  | 1.7779     | 0.0585       |
| bartowski    | Qwen\_Q3\_K\_XL     | 15.97              | 6.8245 | 1.7516     | 0.0627       |
| bartowski    | Qwen\_IQ4\_XS       | 17.42              | 6.6234 | 0.7265     | 0.0234       |
| bartowski    | Qwen\_Q4\_K\_M      | 19.77[^1]          | 6.6097 | 0.5771     | 0.0182       |
| bartowski    | Qwen\_Q5\_K\_M      | 23.11              | 6.5828 | 0.3549     | 0.0106       |
| noctrex      | MXFP4\_MOE\_BF16    | 20.55              | 6.5948 | 0.7939     | 0.0248       |
| noctrex      | MXFP4\_MOE\_F16     | 20.55              | 6.5937 | 0.7614     | 0.0247       |

[^1]: Bartowskis Q4\_K\_M ist 1 GB größer als Unsloths


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://unsloth.ai/docs/de/modelle/qwen3.5/gguf-benchmarks.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.