> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/zh/mo-xing/qwen3.5/gguf-benchmarks.md).

# Qwen3.5 GGUF 基准测试

查看 Unsloth Dynamic GGUF 的表现 + 困惑度、KL 散度和 MXFP4 分析。

我们更新了所有 [Qwen3.5](/docs/zh/mo-xing/qwen3.5.md) Unsloth Dynamic 量化版本 **成为了 SOTA** ，几乎在所有位宽上都是如此。我们做了超过 150 个 KL 散度基准测试，总计 **9TB 的 GGUF**。我们上传了所有研究成果。

我们还修复了一个 **工具调用** 聊天模板问题 **（无论你在哪里使用它，也无论它来自哪里，都会影响所有量化上传器和类型）**.

{% hint style="success" %}
[**3 月 5 日更新**](#id-4-march-5th-2026-update-more-robustness)**:** 重新下载 Qwen3.5-**35B**, **27B，** **122B** 和 **397B。**

* 所有 GGUF 现在都已更新，采用了 **改进的量化** 算法。
* 全部使用我们的 **新的 imatrix 数据**。在聊天、编程、长上下文和工具调用用例中可以看到一些改进。

**新的基准测试** 现已推出，适用于 Qwen3.5-122B-A10B 和 35-A3B！
{% endhint %}

{% hint style="info" %}
想了解如何运行模型以及硬件要求吗？请阅读我们的 [推理指南](/docs/zh/mo-xing/qwen3.5.md).
{% endhint %}

**99.9% KL 散度显示 SOTA** 在 Pareto 前沿上适用于 [Unsloth Dynamic](/docs/zh/ji-chu-zhi-shi/dynamic-3.0-ggufs.md) `Q4_K_XL`, `IQ3_XXS` 等：

<div><figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F1XLNe1MoxtF1ODs5gDej%2F122b%20final.png?alt=media&amp;token=9eee5d8d-f16c-4c3f-8e36-18856e5609aa" alt="" width="563"><figcaption><p>Qwen3.5-<strong>122B-A10B</strong> 基准测试</p></figcaption></figure> <figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FAeecRAsAA3lxJ36HI8pO%2Fhoriztonal%20plot.png?alt=media&amp;token=173d4050-9442-4d2b-9f1b-ee8bd0d423df" alt="" width="563"><figcaption><p>Qwen3.5-<strong>35B-A3B</strong> 基准测试</p></figcaption></figure></div>

* Imatrix 确实有助于降低 KLD 和 PPL，但代价是推理速度慢 5-10%。
* 我们将自己的 GGUF 与许多其他提供方进行了测试
* 量化 ssm\_out（Mamba 层）不是个好主意，ffn\_down\_exps 也是如此。
* **从所有 GGUF 量化中淘汰 MXFP4** ：Q2\_K\_XL、Q3\_K\_XL 和 Q4\_K\_XL，纯 MXFP4\_MOE 除外。

| [Qwen3.5-35B-A3B](https://huggingface.co/unsloth/Qwen3.5-35B-A3B-GGUF) | [Qwen3.5-27B](https://huggingface.co/unsloth/Qwen3.5-27B-GGUF) | [Qwen3.5-122B-A10B](https://huggingface.co/unsloth/Qwen3.5-122B-A10B-GGUF) | [Qwen3.5-397B-A17B](https://huggingface.co/unsloth/Qwen3.5-397B-A17B-GGUF) |
| ---------------------------------------------------------------------- | -------------------------------------------------------------- | -------------------------------------------------------------------------- | -------------------------------------------------------------------------- |

<figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FHq3gIokmPZJRYlnKVFmH%2FHCp7gV9XgAEP5og.png?alt=media&amp;token=a1268383-1648-45f8-996d-c89c7dde3706" alt="" width="563"><figcaption><p>Benjamin Marie 进行的全新 Qwen3.5-9B GGUF 基准测试</p></figcaption></figure>

### 1) **有些张量对量化非常敏感**

* 我们已向社区提供超过 9TB 的研究成果，以便在我们的 [实验页面](https://huggingface.co/unsloth/Qwen3.5-35B-A3B-Experiments-GGUF)上进一步探究。它包含 KLD 指标以及我们测试的全部 121 个配置。
* 我们在每种张量类型上变化位宽，并在下方生成了相对于 99.9% KLD 的最佳和最差 Pareto 前沿图。
* 对于最适合量化的项目，ffn\_up\_exps 和 ffn\_gate\_exps 通常可以量化到 3bit。ffn\_down\_exps 则稍微更敏感。
* 对于最差的项目，ssm\_out 会显著增加 KLD，而磁盘空间节省却微乎其微。例如，在 q2\_k 下的 ssm\_out 表现要差得多。 **量化任何 attn\_\* 都尤其敏感** 对于混合架构来说，因此保留更高精度效果很好。

<figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F485gYwcqz2az5Pm9v3u3%2Fnew-qwen3-5-35b-a3b-unsloth-dynamic-ggufs-benchmarks-v0-pakdmbv1n2mg1.webp?alt=media&amp;token=2eeb55ca-51f3-402a-ae30-ea078c7554da" alt="" width="563"><figcaption></figcaption></figure>

{% columns %}
{% column %}
**张量类型 vs 位数，99.9% KL 散度**

* 我们绘制了所有量化级别相对于 99.9% KLD 的结果，并从最差 KLD 排到最佳。过度量化 ffn\_\* 层并不是个好主意。
* 不过， **有些位宽表现不错，尤其是 3bit**。例如，将 ffn\_\*（down、up、gate）保留在 iq3\_xxs 左右似乎是在磁盘空间与 99.9% KLD 变化之间的最佳折中。2 bit 会造成更多退化。
  {% endcolumn %}

{% column %}

<figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FcE0WAmPVddczWC3dQsWS%2Fnew-qwen3-5-35b-a3b-unsloth-dynamic-ggufs-benchmarks-v0-squz1jz4n2mg1.webp?alt=media&amp;token=3a31adf1-7c4c-446c-91a7-48e63d223189" alt="" width="188"><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

**MXFP4 在许多张量上的表现要差得多** - 对 attn\_gate、attn\_q、ssm\_beta、ssm\_alpha 使用 MXFP4 不是个好主意，Q4\_K 反而更好 - 而且 MXFP4 每个权重使用 4.25 bit，而 Q4\_K 每个权重使用 4.5 bit。在二者之间选择时，使用 Q4\_K 比 MXFP4 更好。

<div><figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FH8FliHXsetx9lLoKelPX%2Fnew-qwen3-5-35b-a3b-unsloth-dynamic-ggufs-benchmarks-v0-xgugdgzmv2mg1.webp?alt=media&amp;token=f0c49e94-571e-4883-84fe-2c4634d425eb" alt="" width="563"><figcaption></figcaption></figure> <figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FEWsX87d1Ig42Uk81fpJo%2Ffixed%20the%20grapg.png?alt=media&amp;token=323932fd-8344-4f6c-b8c3-47cc1b1f6ccf" alt="" width="563"><figcaption><p>如你所见，MXFP4 的数值异常高</p></figcaption></figure></div>

### **2) Imatrix 效果非常好**

* Imatrix 确实有助于以正确的方式为量化过程赋权。例如，之前 ssm\_out 在 2bit 时非常糟糕，但 imatrix 大幅降低了 99.9% KLD。
* Imatrix 通常有助于低位量化，并适用于所有量化和位宽。
*

```
<figure><img src="/files/78ab3cff6bbcd697dbf0c40528a3300865515a22" alt=""><figcaption></figcaption></figure>
```

I 量化（iq3\_xxs、iq2\_s 等）会让推理慢 5-10%，在效率方面确实更好，但这是有权衡的。

| 类型       | pp512（≈） | tg128（≈） |
| -------- | -------- | -------- |
| mxfp4    | 1978.69  | 90.67    |
| q4\_k    | 1976.44  | 90.38    |
| q3\_k    | 1972.61  | 91.36    |
| q6\_k    | 1964.55  | 90.50    |
| q2\_k    | 1964.20  | 90.77    |
| q8\_0    | 1964.17  | 90.33    |
| q5\_k    | 1947.74  | 90.72    |
| iq3\_xxs | 2030.94  | 85.68    |
| iq2\_xxs | 1997.64  | 85.79    |
| iq3\_s   | 1990.12  | 84.37    |
| iq2\_xs  | 1967.85  | 85.19    |
| iq2\_s   | 1952.50  | 85.04    |

### **3) 困惑度与 KLD 可能具有误导性**

困惑度和 KLD 可能会误导人，因为它们深受校准数据影响。大多数 GGUF 都是在 Wiki-test 上、使用 512 上下文窗口进行评估的，因此如果 GGUF 的 imatrix 校准集包含类似维基百科且上下文长度为 512 的样本，结果就会有很大变化（大多数 GGUF 都是如此）。这就是为什么我们的 GGUF 有时会显示更高的困惑度，因为我们的 imatrix 数据改为使用长上下文聊天和工具调用示例。

<figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FhfO2gsbz2lWrZXg3ojyE%2FHCGBTzgboAASv_A.png?alt=media&amp;token=7d6334ca-4f3c-4946-aacd-d55527375fce" alt="" width="563"><figcaption></figcaption></figure>

[Benjamin 最近对 MiniMax‑M2.5 的分析](https://x.com/bnjmn_marie/status/2027043753484021810) 展示了一个案例，说明困惑度和 KLD 可能非常具有误导性。Unsloth Dynamic IQ2\_XXS 在真实世界评测（LiveCodeBench v6、MMLU Pro）上的表现优于 AesSedai 的 IQ3\_S，尽管它小了 11GB。然而，AesSedai 的困惑度和 KLD 基准却显示相反结果。（PPL：0.3552 对 0.2441；KLD：9.0338 对 8.2849——越低越好）。

<div><figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F7csgZI82adnvKmQQVlp1%2F01_kld_vs_filesize_pareto.png?alt=media&amp;token=d907a2c0-7df5-4e6a-9d9b-0524c8e6ae77" alt="" width="188"><figcaption><p>KL 散度 - AesSedai</p></figcaption></figure> <figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fd8KBa3uNhkDEZzq32v7q%2F02_ppl_vs_filesize_pareto.png?alt=media&amp;token=d471fce1-7482-4fde-bc98-2d10503253a4" alt="" width="188"><figcaption><p>困惑度 - AesSedai</p></figcaption></figure></div>

这种不一致表明，更低的困惑度或 KLD 并不一定意味着更好的真实世界表现。图表还显示 UD‑Q4-K‑XL 优于其他 Q4 量化版本，同时体积约小 8GB。这并不意味着困惑度或 KLD 毫无用处，因为它们能提供一个粗略信号。因此，今后我们会为每一种量化版本发布困惑度和 KLD，让社区有一个参考。

### 4) 2026 年 3 月 5 日更新 - 更强的鲁棒性

我们进一步改进了 Qwen3.5 MoE 的量化方法，以直接降低最大 KLD。99.9% 是通常使用的指标，但对于极端离群值，最大 KLD 也会有用。我们的新方法通常会比 3 月 5 日更新之前将最大 KLD 大幅降低。

<figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fqxt3Dv8HIOWG8y3RvNYf%2FCode_Generated_Image(11).png?alt=media&amp;token=54e20159-4243-42cf-89de-d2c9d7b6409b" alt=""><figcaption></figcaption></figure>

| 量化           | 旧 GB       | 新 GB         | 旧最大 KLD | 新最大 KLD            |
| ------------ | ---------- | ------------ | ------- | ------------------ |
| UD-Q2\_K\_XL | 12.0       | ***11.3***   | 8.237   | ***8.155***        |
| UD-Q3\_K\_XL | 16.1       | ***15.5***   | 5.505   | ***5.146***        |
| UD-Q4\_K\_XL | ***19.2*** | 20.7 (+7.8%) | 5.894   | ***2.877 (-51%)*** |
| UD-Q5\_K\_XL | ***23.2*** | 24.6 (+6%)   | 5.536   | ***3.210 (-42%)*** |

### 完整基准测试

| 量化器       | 量化级别             | 磁盘空间（GB）  | PPL    | KLD 99.9% | 平均 KLD |
| --------- | ---------------- | --------- | ------ | --------- | ------ |
| AesSedai  | IQ3\_S           | 12.65     | 6.9152 | 1.8669    | 0.0613 |
| AesSedai  | IQ4\_XS          | 16.4      | 6.6447 | 0.8067    | 0.0235 |
| AesSedai  | Q4\_K\_M         | 20.62     | 6.5665 | 0.3171    | 0.0096 |
| AesSedai  | Q5\_K\_M         | 24.45     | 6.5356 | 0.21      | 0.0058 |
| Ubergarm  | Q4\_0            | 19.79     | 6.5784 | 0.4829    | 0.0142 |
| Unsloth   | IQ2\_XXS         | 9.09      | 7.716  | 4.2221    | 0.1846 |
| Unsloth   | Q2\_K\_XL        | 12.04     | 7.0438 | 2.9092    | 0.097  |
| Unsloth   | IQ3\_XXS         | 13.12     | 6.7829 | 1.5296    | 0.0501 |
| Unsloth   | IQ3\_S           | 14.13     | 6.7715 | 1.4193    | 0.0457 |
| Unsloth   | Q3\_K\_M         | 15.54     | 6.732  | 0.9726    | 0.0324 |
| Unsloth   | Q3\_K\_XL        | 16.06     | 6.7245 | 0.9539    | 0.0308 |
| Unsloth   | MXFP4\_MOE       | 18.17     | 6.6    | 0.7789    | 0.0272 |
| Unsloth   | Q4\_K\_M         | 18.49     | 6.6053 | 0.5478    | 0.0192 |
| Unsloth   | Q4\_K\_L         | 18.82     | 6.5905 | 0.4828    | 0.015  |
| Unsloth   | Q4\_K\_XL        | 19.17     | 6.5918 | 0.4097    | 0.0137 |
| Unsloth   | Q5\_K\_XL        | 23.22     | 6.5489 | 0.236     | 0.0069 |
| Unsloth   | Q6\_K\_S         | 26.56     | 6.5456 | 0.2226    | 0.0065 |
| Unsloth   | Q6\_K\_XL        | 28.22     | 6.5392 | 0.1437    | 0.0041 |
| Unsloth   | Q8\_K\_XL        | 36.04     | 6.5352 | 0.1033    | 0.0026 |
| bartowski | Qwen\_IQ2\_XXS   | 8.15      | 9.3427 | 6.0607    | 0.3457 |
| bartowski | Qwen\_Q2\_K\_L   | 11.98     | 7.5504 | 3.8095    | 0.1559 |
| bartowski | Qwen\_IQ3\_XXS   | 12.94     | 7.0938 | 2.1563    | 0.0851 |
| bartowski | Qwen\_Q3\_K\_M   | 14.95     | 6.772  | 1.7779    | 0.0585 |
| bartowski | Qwen\_Q3\_K\_XL  | 15.97     | 6.8245 | 1.7516    | 0.0627 |
| bartowski | Qwen\_IQ4\_XS    | 17.42     | 6.6234 | 0.7265    | 0.0234 |
| bartowski | Qwen\_Q4\_K\_M   | 19.77[^1] | 6.6097 | 0.5771    | 0.0182 |
| bartowski | Qwen\_Q5\_K\_M   | 23.11     | 6.5828 | 0.3549    | 0.0106 |
| noctrex   | MXFP4\_MOE\_BF16 | 20.55     | 6.5948 | 0.7939    | 0.0248 |
| noctrex   | MXFP4\_MOE\_F16  | 20.55     | 6.5937 | 0.7614    | 0.0247 |

[^1]: Bartowski 的 Q4\_K\_M 比 Unsloth 的大 1GB


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://unsloth.ai/docs/zh/mo-xing/qwen3.5/gguf-benchmarks.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.