> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/dynamic-3.0-ggufs.md). # Unsloth Dynamic 3.0 GGUF [**Unsloth**](https://github.com/unslothai/unsloth) **Dynamic v3.0** 是我们 Dynamic 量化的下一代迭代，也是对 Dynamic v2.0 的重大改进。今天，我们发布 [**Qwen3.8-27B**](/docs/zh/mo-xing/qwen3.8.md) Dynamic v3.0 量化，带来 **在相同大小下，top-1 准确率提升超过 10%** 相比 **其他所有提供商**。这是我们首次共享的 **早期预览** 版本 Dynamic v3.0 的更新。新的 3.0 GGUF 可与大多数推理引擎配合使用，包括 **llama.cpp** 和 [**Unsloth Desktop**](/docs/zh/desktop.md). {% columns %} {% column width="41.66666666666667%" %} Dynamic v3.0 整体上在保持相同大小的同时保留了更多模型质量，并在以下指标上取得了更强的结果，例如 **Divergence-300** @32 和 **KL 散度**. 也非常感谢大家的支持！我们在短短 5 天内就看到了超过 510 万次 Unsloth Qwen3.8 下载！ {% endcolumn %} {% column width="58.33333333333333%" %}

{% endcolumn %} {% endcolumns %} 我们的新方法由许多新特性和改进组成。我们现在使用来自多种来源、质量高得多的 imatrix 校准数据集。该数据集针对以下方面进行了优化： **agentic 编码、聊天**以及多语言性能。我们还改进了 **层选择** 并引入了更多量化技术，以尽可能保留模型质量。我们 **不会在 imatrix 校准数据集上训练**，并且我们绝不使用 **QAT** 或 **QAD**。一切都通过 **后训练量化**完成。我们使用的 imatrix 文件可供社区测试、评估和使用。我们鼓励研究人员和开发者使用我们的 Unsloth quants/imatrix 创建 Qwen3.8 的变体和微调版本。你也可以阅读我们的 [过拟合分析](#not-overfitting) 。 * 我们还移除了以下更小的量化版本中的 MTP 模块： `UD-Q2_K_XL` （8.37GB 及以下），以节省约 500MB 的磁盘空间——如有需要，你可以使用 `Q4_0` 独立的 MTP 模块 * 我们还制作了一些更小的 UD-1bit 量化版本， `UD-IQ1_S` 其中 6.2GB（不含 MTP）可保留约 72% 的 top-1 准确率，同时体积小了 89%。 * `UD-Q2_K_XL` 在 top-1 上大约比下一个最佳方案高 8% 的准确率，而且体积只有 9.83GB，并且成功生成了一个可运行的 HTML 程序，仅有一个小的 JS bug——以前它会崩溃。

### 🔀 Divergence-300 @32 我们通常像 Kimi-K3 的“Dynamic 1-bit 达到 **\~78.9%** top-1 准确率，同时还 **缩小 62%**。”那样报告 top-1 准确率。不过 top-1 只是对 1 个预测的 argmax，因此并不真正适合衡量实际推理效果。我们从 Terminal-Bench 2.1 + DeepSWE + Harbor + MathArena 2025-26 + 非拉丁/长文档提示中构建了一个包含 300 个留出样例的数据集（不在校准数据集中），并对 BF16 与所有量化版本和提供商进行了 32 个 token 的贪婪 argmax 解码。更多关于过拟合的信息请见 [过拟合分析](#not-overfitting) 。这使我们能够判断是否存在过拟合，以及量化输出在多个 token 上是否与 BF16 的轨迹相似。这比 top-1 准确率更好的指标，因为我们将 KLD top-1 扩展为更接近 32 个 token 上的 KLD top-1。

### :question:1-bit 不应用于 agentic 用例如在 [#divergence-300-32](#divergence-300-32 "mention")中所示，从 UD-Q2\_K\_XL 到 UD-IQ2\_S 在 32 token 预测上的准确率出现了明显下降，从大约 25% 降至 8-10% 以下。这种急剧下降意味着工具调用和非思考模式会失效。使用 1-bit 时的一些问题与缓解措施： 1. **过度循环**\ 在使用低于 UD-Q2\_K\_XL 的量化版本时，你会看到大量循环——在所有情况下都使用 `presence_penalty = 1.5` （或更高） 2. **空响应**\ 对于 1-bit 量化，至少始终开启低推理强度的思考模式——非推理模式甚至会导致模型根本不输出内容 3. **Agentic 用例和工具调用**\ 不要将该模型用于工具调用——只有 **通用知识还能保留** 在重度量化时，模型要么无法调用工具，要么会持续调用工具，或者甚至根本不会调用。 4. **通用知识可用**\ 77% 的 Top-1 恢复率并不能替代 Divergence-300 @32 中 8% 的结果，后者更能指示真实推理工作负载——你可以将该模型用于极短的通用知识事实问答，但最好使用 UD-Q2\_K\_XL。 ### 🔀 KL 散度基准我们也对所有提供商运行了 KLD 基准测试，并报告 Top-1 和 KLD 平均值。在所有级别上，尤其是在更小的量化大小上，Unsloth UD-3 量化在相同磁盘空间下可获得最高 +10% 的额外 top-1 准确率！为了公平比较，所有图表在计算磁盘空间时都从 x 轴中移除了 MTP 头。

### :dove:不过拟合与我们在未见过的 Wikitext 和 Code 上的旧版 UD-2 相比，我们在 KLD 上展示了显著改进——但更大的版本改善并不明显，因此对于更大的量化版本我们仍然使用旧版 UD-2——我们也计划继续实验和改进它们！我们还通过使用完全不同的数据集进行校准来控制过拟合，并尽可能移除所有泄漏。我们在这些未见数据集上测试 KLD，而且我们也不做 QAD / QAT，只做纯 PTQ，因此与其他 QAD / QAT 方法相比，过拟合不太需要担心。

同样地 [#divergence-300-32](#divergence-300-32 "mention") 使用来自 DeepSWE、Terminal Bench 等的 300 个提示的未见数据集，并作为另一个用于衡量过拟合的数据集——结果表明我们新的 UD-3 方法不会过拟合。 *** ## Dynamic v2.0（旧版）我们正在推出 [Unsloth](https://github.com/unslothai/unsloth) Dynamic v2.0 量化——对我们之前量化版本的一次重大升级。这种新方法优于领先的量化方法，并为以下内容设立了新的基准： [Aider Polyglot](/docs/zh/ji-chu-zhi-shi/dynamic-3.0-ggufs/unsloth-dynamic-ggufs-on-aider-polyglot.md)、5-shot MMLU 和 KL 散度。这意味着你现在可以运行并微调 [量化 LLM](/docs/zh/mo-xing/tutorials.md) ，同时尽可能保留准确率！你可以在大多数推理引擎上运行 2.0 GGUF，例如 llama.cpp， [Unsloth Studio](/docs/zh/xin/studio.md) 等等。 {% columns %} {% column %} **2026 年 4 月 20 日更新：** 查看我们针对以下内容的新 GGUF 基准： [Qwen3.6](/docs/zh/mo-xing/tutorials/qwen3.6.md#unsloth-gguf-benchmarks) 和 [Gemma 4](/docs/zh/mo-xing/gemma-4.md#unsloth-gguf-benchmarks). [2026 年 2 月 27 日更新：](/docs/zh/mo-xing/qwen3.5/gguf-benchmarks.md) **Qwen3.5** 已发布，我们修复了一些工具调用聊天模板问题，并对每个 GGUF 在困惑度和 KL 散度上进行了基准测试。 [查看基准！](/docs/zh/mo-xing/qwen3.5/gguf-benchmarks.md) 该 **关键优势** 使用 [Unsloth 包](https://github.com/unslothai/unsloth) 以及量化版本的过程中，我们积极参与修复大型模型中的 bug。我们还与以下项目背后的团队直接合作， [Qwen3](https://www.reddit.com/r/LocalLLaMA/comments/1kaodxu/qwen3_unsloth_dynamic_ggufs_128k_context_bug_fixes/), [Meta（Llama 4）](https://github.com/ggml-org/llama.cpp/pull/12889), [Mistral（Devstral）](/docs/zh/mo-xing/tutorials/devstral-how-to-run-and-fine-tune.md), [Google（Gemma 1–3）](https://news.ycombinator.com/item?id=39671146) 和 [Microsoft（Phi-3/4）](https://simonwillison.net/2025/Jan/11/phi-4-bug-fixes)贡献了提升准确率的修复。 {% endcolumn %} {% column %}

{% endcolumn %} {% endcolumns %} {% hint style="success" %} Unsloth Dynamic GGUF 现在可以在 [Unsloth Studio](/docs/zh/xin/studio.md) ✨

{% endhint %} {% hint style="success" %} [2025 年 9 月 10 日更新：](/docs/zh/ji-chu-zhi-shi/dynamic-3.0-ggufs/unsloth-dynamic-ggufs-on-aider-polyglot.md) 你们要求更难的基准，所以这里是 Aider Polyglot 结果！我们的 Dynamic 3-bit DeepSeek V3.1 GGUF 得分 **75.6%**，超过了许多全精度 SOTA LLM。 [阅读更多。](/docs/zh/ji-chu-zhi-shi/dynamic-3.0-ggufs/unsloth-dynamic-ggufs-on-aider-polyglot.md) DeepSeek-V3.2 Thinking Aider Benchmarks

{% endhint %} 你还可以查看 Benjamin Marie 针对 LiveCodeBench v6、MMLU Pro 等进行的真实世界用例基准：

你可以看到，尽管比非 Unsloth 量化版本小约 8GB，Unsloth 的 GGUF 表现仍优于它们。更详细的基准和评估分析见下文。 ### 💡 Dynamic v2.0 有什么新内容？ * **GGUF + safetensors 的层选择全面改进：** Unsloth Dynamic 2.0 现在以更智能、更广泛的方式有选择地量化各层。我们不再只是修改少数选定层，而是动态调整每一个可能层的量化类型，并且不同层和不同模型的组合会不同。 * 当前选中的以及未来所有 GGUF 上传都将采用 Dynamic 2.0 和我们的新校准数据集。该数据集包含超过 >1.5M **个 token** （取决于模型），并由高质量、人工筛选和清洗的数据组成——以大幅提升对话聊天性能。 * 此前，我们的 Dynamic 量化（DeepSeek-R1 1.58-bit GGUF）仅对 MoE 架构有效。 **Dynamic 2.0 量化现在适用于所有模型（包括 MOE 和非 MOE）**. * **模型特定量化：** 现在每个模型都使用量身定制的量化方案。例如，Gemma 3 中量化的层与 Llama 4 中的层有显著不同。 * 为了最大化效率，尤其是在 Apple Silicon 和 ARM 设备上，我们现在还添加了 Q4\_NL、Q5.1、Q5.0、Q4.1 和 Q4.0 格式。为确保准确的基准测试，我们构建了一个内部评估框架，以匹配 Llama 4 和 Gemma 3 官方报告的 5-shot MMLU 分数。这使我们能够在全精度与 Dynamic v2.0 之间进行真正的对比， **QAT** 以及标准 **imatrix** GGUF 量化版本。

未来所有 GGUF 上传都将采用 Unsloth Dynamic 2.0，而我们的 Dynamic 4-bit safetensor 量化版本未来也将从中受益。 ## 📊 为什么选择 KL 散度？ [准确率并非你所需要的一切](https://arxiv.org/pdf/2407.09141) 展示了即使通过选择不必要的层来进行剪枝，在“翻转”方面仍会产生巨大差异。“翻转”被定义为答案从错误变为正确或从正确变为错误。论文表明，随着我们剪枝层或进行量化，MMLU 可能不会下降，但这是因为一些错误答案可能已经“翻转”为正确。我们的目标是匹配原始模型，因此衡量“翻转”是一个很好的指标。

{% hint style="info" %} **KL 散度** 应该是 **量化误差报告的黄金标准之一** 正如论文《Accuracy is Not All You Need》所述。 **使用困惑度是不正确的** 因为输出 token 的取值可能相互抵消，因此我们必须使用 KLD 或更难的基准，例如 [Aider](/docs/zh/ji-chu-zhi-shi/dynamic-3.0-ggufs/unsloth-dynamic-ggufs-on-aider-polyglot.md). {% endhint %} 该论文还表明，KL 散度与翻转高度相关，因此我们的目标是在尽可能少增加量化磁盘空间的同时，降低平均 KL 散度。 ## ⚖️ 校准数据集过拟合大多数框架使用 Wikipedia 文章测试集来报告困惑度和 KL 散度。然而，我们注意到使用同样也与 Wikipedia 相关的校准数据集会导致量化版本过拟合，并获得更低的困惑度分数。我们使用 [Calibration\_v3](https://gist.github.com/bartowski1182/eb213dccb3571f863da82e99418f81e8) 和 [Calibration\_v5](https://gist.github.com/tristandruyen/9e207a95c7d75ddf37525d353e00659c/) 数据集进行公平测试，其中包括部分 wikitext 数据以及其他数据。 **另外，instruct 模型有独特的聊天模板，而仅使用文本的校准数据集对 instruct 模型并不有效** （基础模型可以）。事实上，大多数 imatrix GGUF 通常就是在这些问题下校准的。因此，它们在也使用 Wikipedia 数据的 KL 散度基准上自然表现更好，因为模型本质上是针对该领域进行了优化。为确保公平且受控的评估，在对 KL 散度进行基准测试时，我们不会使用自己的校准数据集（该数据集针对聊天性能进行了优化）。相反，我们使用相同的标准 Wikipedia 数据集进行测试，从而能够直接比较我们的 Dynamic 2.0 方法与基线 imatrix 方法的性能。 ## :1234: MMLU 复现冒险 * 复现 MMLU 5 shot 简直是噩梦。我们 **无法** 复现许多模型的 MMLU 结果，包括 Llama 3.1 (8B) Instruct、Gemma 3 (12B) 等，原因是 **微妙的实现问题**。例如，Llama 3.1 (8B) 正常应获得约 68.2%，而使用错误实现时只能达到 **35% 准确率。**

* 使用朴素的 MMLU 实现时，Llama 3.1 (8B) Instruct 的 MMLU 5 shot 准确率为 67.8%。但我们发现 Llama **会把“A”和“\_A”（前面带空格的 A）分词为不同的 token id**。如果同时考虑带空格和不带空格的 token，我们得到 68.2% (+0.4%) * 有趣的是，按照 Eleuther AI 的 [LLM Harness](https://github.com/EleutherAI/lm-evaluation-harness/blob/main/lm_eval/tasks/llama3/instruct/mmlu/_continuation_template_yaml) Llama 3 也会附加 **“最佳答案是”** 到问题中，这遵循了 Llama 3 原始的 MMLU 基准。 * 还有许多其他微妙的问题，因此为了在受控环境中对一切进行基准测试，我们通过直接研究 [github.com/hendrycks/test](https://github.com/hendrycks/test) 从头设计了我们自己的 MMLU 实现，并在多个模型上验证了结果，同时与已报告的数值进行比较。 ## :sparkles: Gemma 3 QAT 复现、基准 Gemma 团队发布了两个 Gemma 3 的 QAT（量化感知训练）版本： 1. Q4\_0 GGUF - 通过公式将所有层量化为 Q4\_0 `w = q * block_scale` ，每个 block 有 32 个权重。详见 [llama.cpp wiki ](https://github.com/ggml-org/llama.cpp/wiki/Tensor-Encoding-Schemes)了解更多细节。 2. int4 版本——大概是 [TorchAO int4 风格](https://github.com/pytorch/ao/blob/main/torchao/quantization/README.md)? 我们对所有 Q4\_0 GGUF 版本进行了基准测试，并对 12B 模型做了大量实验。我们看到 **12B Q4\_0 QAT 模型得到 67.07%** 而完整的 bfloat16 12B 版本在 5 shot MMLU 上得到 67.15%。这非常令人印象深刻！27B 模型也基本接近了！

指标	1B	4B	12B	27B
MMLU 5 shot	26.12%	55.13%	67.07%（BF16 为 67.15%）	70.64%（BF16 为 71.5%）
磁盘空间	0.93GB	2.94GB	7.52GB	16.05GB
效率*	1.20	10.26	5.59	2.84

我们设计了一个新的 **效率指标** ，用于计算模型的实用性，同时考虑其磁盘大小和 MMLU 5 shot 分数： $$ \text{Efficiency} = \frac{\text{MMLU 5 shot score} - 25}{\text{Disk Space GB}} $$ {% hint style="warning" %} 我们必须 **减去 25** 因为 MMLU 有 4 个选择项——A、B、C 或 D。假设我们做出一个只会随机选择答案的模型——它会得到 25% 的准确率，而且磁盘空间只占几字节。但显然这并不是一个有用的模型。 {% endhint %} 关于相对于基础模型的 KL 散度，下面的表格展示了改进情况。提醒一下，KL 散度越接近 0 越好（即 0 表示与全精度模型完全相同） | 量化 | 基线 KLD | GB | 新的 KLD | GB | | --------- | -------- | ----- | -------- | ----- | | IQ1\_S | 1.035688 | 5.83 | 0.972932 | 6.06 | | IQ1\_M | 0.832252 | 6.33 | 0.800049 | 6.51 | | IQ2\_XXS | 0.535764 | 7.16 | 0.521039 | 7.31 | | IQ2\_M | 0.26554 | 8.84 | 0.258192 | 8.96 | | Q2\_K\_XL | 0.229671 | 9.78 | 0.220937 | 9.95 | | Q3\_K\_XL | 0.087845 | 12.51 | 0.080617 | 12.76 | | Q4\_K\_XL | 0.024916 | 15.41 | 0.023701 | 15.64 | 如果我们绘制磁盘空间增加与 KL 散度变化比例的图表，就能看到更明显的收益！我们的 dynamic 2bit Q2\_K\_XL 将 KLD 降低了不少（约 7.5%）。

Gemma 3（27B）的 MMLU 结果截断表。见下文。 1. **我们的 dynamic 4bit 版本在准确率额外提升 1% 的同时，体积还小了 2GB！** 2. 从效率角度看，2bit Q2\_K\_XL 等表现似乎都非常不错！ | 量化 | Unsloth | Unsloth + QAT | 磁盘大小 | 效率 | | -------------- | --------- | ------------- | --------- | -------- | | IQ1\_M | 48.10 | 47.23 | 6.51 | 3.42 | | IQ2\_XXS | 59.20 | 56.57 | 7.31 | 4.32 | | IQ2\_M | 66.47 | 64.47 | 8.96 | 4.40 | | Q2\_K\_XL | 68.70 | 67.77 | 9.95 | 4.30 | | Q3\_K\_XL | 70.87 | 69.50 | 12.76 | 3.49 | | **Q4\_K\_XL** | **71.47** | **71.07** | **15.64** | **2.94** | | **Google QAT** | | **70.64** | **17.2** | **2.65** |

点击这里查看完整的 Google Gemma 3（27B）QAT 基准：

| 模型 | Unsloth | Unsloth + QAT | 磁盘大小 | 效率 | | -------------- | --------- | ------------- | --------- | -------- | | IQ1\_S | 41.87 | 43.37 | 6.06 | 3.03 | | IQ1\_M | 48.10 | 47.23 | 6.51 | 3.42 | | IQ2\_XXS | 59.20 | 56.57 | 7.31 | 4.32 | | IQ2\_M | 66.47 | 64.47 | 8.96 | 4.40 | | Q2\_K | 68.50 | 67.60 | 9.78 | 4.35 | | Q2\_K\_XL | 68.70 | 67.77 | 9.95 | 4.30 | | IQ3\_XXS | 68.27 | 67.07 | 10.07 | 4.18 | | Q3\_K\_M | 70.70 | 69.77 | 12.51 | 3.58 | | Q3\_K\_XL | 70.87 | 69.50 | 12.76 | 3.49 | | Q4\_K\_M | 71.23 | 71.00 | 15.41 | 2.98 | | **Q4\_K\_XL** | **71.47** | **71.07** | **15.64** | **2.94** | | Q5\_K\_M | 71.77 | 71.23 | 17.95 | 2.58 | | Q6\_K | 71.87 | 71.60 | 20.64 | 2.26 | | Q8\_0 | 71.60 | 71.53 | 26.74 | 1.74 | | **Google QAT** | | **70.64** | **17.2** | **2.65** |

## :llama: Llama 4 bug 修复 + 运行我们还帮助修复了几个 Llama 4 的 bug： * Llama 4 Scout 在其官方仓库中更改了 RoPE 缩放配置。我们协助在 llama.cpp 中解决了此问题，以启用这一 [更改](https://github.com/ggml-org/llama.cpp/pull/12889)

* 这里 [llama.cpp](https://github.com/ggml-org/llama.cpp/pull/12889) 和 [transformers](https://github.com/huggingface/transformers/pull/37418) * Llama 4 团队和 vLLM 也独立修复了一个问题：QK Norm 在所有 heads 之间共享（这不应该如此） [这里](https://github.com/vllm-project/vllm/pull/16311)。MMLU Pro 准确率从 68.58% 提升到 71.53%。 * [Wolfram Ravenwolf](https://x.com/WolframRvnwlf/status/1909735579564331016) 展示了我们通过 llama.cpp 提供的 GGUF 比第三方推理提供商获得了高得多的准确率——这很可能是上述问题的组合造成的，也可能是量化问题所致。

如我们的图表所示，我们的 4-bit Dynamic QAT 量化在 5-shot MMLU 上提供了更好的性能，同时体积也更小。 ### 运行 Llama 4 Scout：例如，要运行 Llama 4 Scout，首先克隆 llama.cpp： ```bash apt-get update apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y git clone https://github.com/ggml-org/llama.cpp cmake llama.cpp -B llama.cpp/build \\ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpp ``` 然后下载 Scout 的新 dynamic v 2.0 量化版本： ```python # !pip install huggingface_hub hf_transfer import os os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1" from huggingface_hub import snapshot_download snapshot_download( repo_id = "unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF", local_dir = "unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF", allow_patterns = ["*IQ2_XXS*"], ) ``` 然后让我们开始推理吧！ {% code overflow="wrap" %} ```bash ./llama.cpp/llama-cli \\ --model unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF/Llama-4-Scout-17B-16E-Instruct-UD-IQ2_XXS.gguf \ --threads 32 \ --ctx-size 16384 \ --n-gpu-layers 99 \\ -ot ".ffn_.*_exps.=CPU" \\ --seed 3407 \ --prio 3 \ --temp 0.6 \ --min-p 0.01 \ --top-p 0.9 \ -no-cnv \ --prompt "<|header_start|>user<|header_end|>\n\n创建一个 Flappy Bird 游戏。<|eot|><|header_start|>assistant<|header_end|>\n\n" ``` {% endcode %} {% hint style="success" %} 在此阅读更多关于运行 Llama 4 的内容： {% endhint %} --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation by asking a question. Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters: ``` GET https://unsloth.ai/docs/zh/ji-chu-zhi-shi/dynamic-3.0-ggufs.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.