🦥Unsloth Dynamic 2.0 GGUFs

我们很高兴地介绍 Unsloth 动态 v2.0 量化 —— 对我们之前量化方法的重大升级。此新方法优于领先的量化方法，并为以下方面设定了新的基准： Aider Polglot，5-shot MMLU 和 KL 散度。

这意味着您现在可以运行并微调 量化的 LLM 同时尽可能保留准确性！您可以在大多数推理引擎上运行 2.0 GGUF，如 llama.cpp、LM Studio 等。

2026 年 2 月 27 日 更新： Qwen3.5 已发布，我们修复了一些工具调用聊天模板的问题，并对每个 GGUF 在困惑度和 KL 散度上进行了基准测试。 查看基准！

主要的 优势 是使用 Unsloth 包 和量化文件在修复主要模型中的错误方面我们发挥了积极作用。我们与以下团队直接合作修复问题： Qwen3, Meta（Llama 4）, Mistral（Devstral）, Google（Gemma 1–3） 和 Microsoft（Phi-3/4），贡献了提高准确性的修复。

您还可以查看 Benjamin Marie 为 LiveCodeBench v6、MMLU Pro 等进行的真实用例基准：

您可以看到尽管 Unsloth 的 GGUF 大约小 ~8GB，但其表现优于非 Unsloth 的量化文件。

下面有我们基准和评估的详细分析。

💡 动态 v2.0 有哪些新内容？

• 为 GGUFs + safetensors 重新设计的层选择： Unsloth 动态 2.0 现在以更智能、更广泛的方式有选择性地量化层。我们不再仅修改某些层，而是现在动态调整每个可能层的量化类型，且每层和每个模型的组合会不同。

• 当前选择的以及所有未来的 GGUF 上传将使用动态 2.0 和我们的新校准数据集。该数据集包含超过 >1.5M 标记 （取决于模型）并由高质量、手工策划和清洗的数据组成 —— 大幅提升会话聊天性能。

• 此前，我们的动态量化（DeepSeek-R1 1.58-bit GGUF）仅对 MoE 架构有效。 动态 2.0 量化现在适用于所有模型（包括 MoE 和非 MoE）.

• 针对模型的专用量化： 每个模型现在使用定制的量化方案。例如，Gemma 3 中被量化的层与 Llama 4 中的层显著不同。

• 为最大化效率，尤其是在 Apple Silicon 和 ARM 设备上，我们现在还加入了 Q4_NL、Q5.1、Q5.0、Q4.1 和 Q4.0 格式。

为了确保准确的基准测试，我们构建了一个内部评估框架以匹配官方报告的 Llama 4 和 Gemma 3 的 5-shot MMLU 分数。这使得全精度与动态 v2.0、 QAT 和标准 imatrix GGUF 量化之间可以进行可比性的比较。

所有未来的 GGUF 上传将使用 Unsloth 动态 2.0，我们的动态 4-bit safetensor 量化在未来也将从中受益。

📊 为什么使用 KL 散度？

准确性并非全部 展示了即使通过选择不必要的层来修剪层，仍会在“翻转”（flip）方面产生巨大差异。“翻转”定义为答案从错误变为正确或反之的变化。该论文表明，当我们修剪层或进行量化时，MMLU 可能不会下降，但那是因为一些错误答案可能已经“翻转”为正确。我们的目标是匹配原始模型，因此衡量“翻转”是一个良好的度量。

论文还表明，有趣的是 KL 散度与翻转高度相关，因此我们的目标是在尽量少增加量化磁盘空间的同时降低平均 KL 散度。

⚖️ 校准数据集过拟合

大多数框架使用维基百科文章的测试集报告困惑度和 KL 散度。然而，我们注意到使用与维基百科相关的校准数据集会导致量化过拟合并获得更低的困惑度分数。我们使用 Calibration_v3 和 Calibration_v5 数据集进行公平测试，这些数据集中包含一些 wikitext 数据及其他数据。 另外，instruct 模型有独特的聊天模板，仅使用纯文本的校准数据集对于 instruct 模型并不有效 （基础模型除外）。事实上大多数 imatrix GGUF 通常在校准时存在这些问题。因此，当 KL 散度基准也使用维基百科数据时，它们自然表现更好，因为模型本质上针对该领域进行了优化。

为确保公平且受控的评估，在对 KL 散度进行基准测试时，我们不会使用我们自己的校准数据集（该数据集针对聊天性能进行了优化）。相反，我们使用相同的标准维基百科数据集进行了测试，从而能够直接比较我们的动态 2.0 方法与基线 imatrix 方法的性能。

🔢 MMLU 复制之旅

• 复制 MMLU 5-shot 是场噩梦。我们 无法 复制包括 Llama 3.1 (8B) Instruct、Gemma 3 (12B) 等在内的许多模型的 MMLU 结果，原因是 细微的实现问题。例如 Llama 3.1 (8B) 应该获得约 ~68.2%，而使用不正确的实现可能只能达到 35% 的准确率。

• 使用简单的 MMLU 实现，Llama 3.1 (8B) Instruct 的 MMLU 5-shot 准确率为 67.8%。然而我们发现 Llama 将 "A" 与 "_A"（前面带空格的 A）标记为不同的 token id。如果我们同时考虑带空格和不带空格的 token，我们会得到 68.2%。 (+0.4%)

• 有趣的是，根据 Eleuther AI 的 LLM Harness Llama 3 还会在问题后追加 "The best answer is" ，以遵循 Llama 3 的原始 MMLU 基准。

• 还有许多其他细微的问题，因此为了在受控环境中对所有内容进行基准测试，我们通过直接研究并从头设计了自己的 MMLU 实现， github.com/hendrycks/test 并在多个模型上验证我们的结果并与报告的数值进行比较。

✨ Gemma 3 QAT 复制与基准

Gemma 团队发布了两个 Gemma 3 的 QAT（量化感知训练）版本：

1. Q4_0 GGUF - 通过公式将所有层量化为 Q4_0： w = q * block_scale 每个块有 32 个权重。详情见 llama.cpp 维基 。

2. int4 版本 - 可能是 TorchAO int4 风格?

我们对所有 Q4_0 GGUF 版本进行了基准测试，并对 12B 模型进行了大量实验。我们看到 12B Q4_0 QAT 模型获得 67.07% ，而全 bfloat16 12B 版本在 5-shot MMLU 上获得 67.15%。这非常令人印象深刻！27B 模型也几乎达到了！

我们设计了一个新的 效率指标 它在考虑模型磁盘大小和 MMLU 5-shot 分数的同时计算模型的有用性：

关于相对于基线模型的 KL 散度，下面的表格展示了改进。提醒一下，KL 散度越接近 0 越好（即 0 表示与全精度模型相同）

如果我们绘制磁盘空间增加比例与 KL 散度变化比例的比值，我们可以看到更清晰的收益！我们的动态 2bit Q2_K_XL 在降低 KLD 上表现显著（大约 7.5%）。

Gemma 3（27B）的 MMLU 结果截表。见下文。

1. 我们的动态 4bit 版本比 QAT 版本小 2GB，同时准确率额外提高了 +1%！

2. 在效率方面，2bit Q2_K_XL 等表现非常出色！

🦙 Llama 4 错误修复与运行

我们还帮助并修复了几个 Llama 4 的 bug：

• Llama 4 Scout 在其官方仓库中更改了 RoPE 缩放配置。我们帮助解决了 llama.cpp 中以启用此 更改的问题，链接在此

  
• Llama 4 的 QK Norm 的 epsilon 对于 Scout 和 Maverick 都应来自配置文件 —— 这意味着使用 1e-05 而不是 1e-06。我们帮助在 llama.cpp 和 transformers

• 中解决了这些问题。 Llama 4 团队和 vLLM 也独立修复了 QK Norm 在所有头之间共享的问题（不应如此），在此处

• 。MMLU Pro 的准确率从 68.58% 提升到 71.53%。 Wolfram Ravenwolf

  

展示了通过 llama.cpp 使用我们的 GGUF 相比第三方推理提供者能获得更高的准确率 —— 这很可能是上述问题的组合，也可能由于量化问题所致。

如我们的图表所示，我们的 4-bit 动态 QAT 量化在 5-shot MMLU 上提供了更好的性能，同时体积也更小。

运行 Llama 4 Scout：

cp llama.cpp/build/bin/llama-* llama.cpp

allow_patterns = ["*IQ2_XXS*"],