> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/zh/mo-xing/deepseek-v4.1-flash.md).

# DeepSeek-V4.1-Flash：本地运行指南

使用 Unsloth GGUF 和 Engram n-gram 卸载，在本地运行 DeepSeek-V4.1-Flash-1017。

**DeepSeek-V4.1-Flash-1017** 是 V4.1-Flash 的全新更新，使其成为迄今为止 **最强大的** 开放模型，适用于编程、智能体任务等。它拥有 1M 上下文，其 **552B** 骨干参数 + **196B Engram** 参数支持 SSD 卸载，可降低 RAM/VRAM 需求。本指南将介绍如何使用 Unsloth 在本地运行 DeepSeek-V4.1 [Dynamic V3.1](#dynamic-v3.1-update-october-30th-2026) GGUF，准确率提升了 **10–15%** ，且 **Token 用量减少了 30%** （与同尺寸的其他量化版本相比）。

[Unsloth Desktop](https://unsloth.ai/docs/zh/desktop.md) + llama.cpp 可让 DeepSeek-V4.1 推理速度提升约**3 倍** ，优于其他 CPU/VRAM/ngram 仓库。DeepSeek 可在本地运行，适用于 128GB 以上 RAM 的配置，或 64GB RAM 配置（速度较慢）。 `UD-Q8_K_XL` （无损）占用 **508.4 GB**，而 `UD-Q4_K_XL` （近乎无损）占用 **500.7 GB**。GGUF： [**DeepSeek-V4.1-Flash-1017-GGUF**](https://huggingface.co/unsloth/DeepSeek-V4.1-Flash-1017-GGUF)

<a href="https://unsloth.ai/docs/zh/mo-xing/deepseek-v4.1-flash.md#usage-guide" class="button primary">运行 DeepSeek-V4.1 教程</a>

### Dynamic V3.1 更新（2026 年 11 月 2 日）

我们发布了全新的 DeepSeek-V4.1-Flash-1017 GGUF，采用了我们的全新 [**Unsloth Dynamic**](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/dynamic-3.0-ggufs.md) **V3.1（预览版）算法** ，该算法在几乎所有基准测试中都能提升 Unsloth 量化版本的表现，在同类产品中优于其他提供商。

<figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FXC2NHQCS4KKsMoY4IjpT%2Fimage.png?alt=media&amp;token=67fb9d55-8fbb-4f35-a13f-83465cee8475" alt="" width="563"><figcaption></figcaption></figure>

如果也对 ISTA 的 Coder 模型进行基准测试，我们会发现，剪枝后的 Coder 模型在智能体任务上的表现差得多——Aider Polyglot 的准确率为 47.6%，而非 78.2%，模型体积却只缩小了 20%。这在一定程度上意味着，体积每缩小 1%，准确率就会随之下降约 1%。

<figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fe3HYFau6qEpkFwkLVwru%2FCoder%20benchmark.png?alt=media&amp;token=59e2ab09-3f42-4226-bd03-3b5a8d109e6a" alt="" width="563"><figcaption></figcaption></figure>

**我们运行了智能体基准测试，包括 Terminal Bench 2.1、DeepSWE v1.1、** Automation Bench v1.0.6、Aider Polyglot，以及 SciCode、HLE Diamond（纯文本）、LiveCodeBench v6、GPQA Diamond、MMLU-Pro、AIME25、IFEval、MATH-500（Level 5）、HMMT 2025 和 HMMT 2026 等通用基准测试。针对大家提到的这些新基准测试存在的一些问题，我们采取了以下改进措施：

* 32K 上下文太短——我们采用了 **512K 上下文进行智能体任务测试** ，并为通用任务采用 128K 上下文
* 基准测试已饱和——我们改用了新的 **尚未饱和的智能体类基准测试** ，包括 Terminal Bench、DeepSWE 和 Automation Bench
* 基准测试结果有噪声——我们进行了 **351 亿 Token 的基准测试，较此前的 13 亿增加了 27 倍**。请参阅 [#benchmark-runs-per-model](#benchmark-runs-per-model "mention") 相关内容，其中我们对 AIME 2025 进行了 64 次测试，对 DeepSWE 和 TB 各进行了 3 次测试，此外还有更多测试。
* 我们的评分器有误——我们使用了 [Math Verify](https://huggingface.co/blog/math_verify_leaderboard)，改进了评分器，并在 HLE 测试中使用 gpt-6-luna xhigh；对于 Terminal Bench（Harbor）、DeepSWE 及其他基准测试，则使用了所有官方评分器。请参阅 [#graders](#graders "mention") 和 [#infrastructure-and-benchmark-issues-and-fixes](#infrastructure-and-benchmark-issues-and-fixes "mention")

我们也提供了完整的基准测试结果。第一张图展示了相对于基线的准确率恢复百分比，并对全部 14 项基准测试取平均（未加权）。这大致衡量了各量化版本相对于 DeepSeek 基线保留了多少准确率。

有关 [基准测试的完整细分结果，请参阅此处。](#gguf-benchmark-breakdown)

<figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FQumjSkZM3UWgSRSa5taa%2Fimage.png?alt=media&amp;token=23092c27-abae-4376-b44a-7ae91f918705" alt="" width="563"><figcaption></figcaption></figure>

#### 我们仍无法复现 GSQ-RCO 的恢复率数据

GSQ-RCO IQ1\_M 声称恢复率为 98.7%，但我们的测量结果为 97.24 \[96.23, 98.21]，其 **p 值为 0.0013** （具有统计显著性，因此极不可能是偶然结果）

GSQ-RCO IQ2\_XS 声称恢复率达到 100%，这在 p 值为 0.21 的情况下是可能的。我们的测量结果为 98.38% \[97.52, 99.22]。

GSQ-RCO IQ2\_XXS 声称恢复率为 99.80%，但我们的测量结果为 98.38 \[97.52, 99.22]，其 **p 值为 0.0001（极其显著）**.

将声称的恢复率直接与我们的测量结果进行检验（该卡片的定义：3 项得分之和 / 基线得分之和，相对于官方 FP8/FP4）：p（无损失）= 对恢复率是否等于 100% 进行配对符号翻转置换检验；p（恢复率 >= 声称值）= 针对题目的单侧配对自助法检验。

|                  | 声称的恢复率 |     测得的恢复率 \[95% 置信区间] |  p（无损失） | p（恢复率 >= 声称值） |
| ---------------- | -----: | ---------------------: | ------: | ------------: |
| GSQ-RCO IQ1\_M   |  98.70 |  97.24 \[96.23, 98.21] | 0.00002 |        0.0013 |
| GSQ-RCO IQ2\_XXS | 100.00 |  98.38 \[97.52, 99.22] |  0.0003 |        0.0001 |
| GSQ-RCO IQ2\_XS  |  99.80 | 99.54 \[98.88, 100.18] |    0.16 |          0.21 |

各基准测试中声称的恢复率与实际恢复率，均以官方 FP8/FP4 为参照（卡片所用基线）。声称值 = 卡片得分 / 卡片基线；实际值 = 我们对每道题进行 12–64 次采样所得的均值 / 官方模型在相同题目上的均值，并采用配对 95% 自助法置信区间。p（实际值 >= 声称值）：单侧配对自助法检验，表示实际恢复率达到声称值的概率。p（无损失）：针对实际恢复率是否等于 100% 进行双侧配对置换检验（对每道题的量化模型/官方模型结果对随机交换）。列出相近尺寸的 Unsloth 量化版本供参考（仅测量值）。

<details>

<summary>点击查看详细表格分析</summary>

| 模型               |               |                  AIME25 |                  GPQA-D |                  LCB v6 |           3 项基准测试（卡片定义） |
| ---------------- | ------------- | ----------------------: | ----------------------: | ----------------------: | ----------------------: |
| GSQ-RCO IQ1\_M   | 声称值（卡片）       |                  100.00 |                   97.22 |                   98.73 |                   98.69 |
|                  | 实际值（测量）       |   98.37 \[97.06, 99.53] |   96.83 \[94.60, 98.89] |   96.44 \[94.69, 98.08] |   97.24 \[96.24, 98.21] |
|                  | p（实际值 >= 声称值） |                  0.0028 |                    0.38 |                  0.0027 |                  0.0014 |
|                  | p（无损失）        |                   0.019 |                  0.0041 |                 <0.0001 |                 <0.0001 |
| GSQ-RCO IQ2\_XXS | 声称值（卡片）       |                  100.00 |                  100.00 |                  100.00 |                  100.00 |
|                  | 实际值（测量）       |  99.53 \[98.84, 100.21] |   97.73 \[95.80, 99.61] |   97.80 \[96.08, 99.39] |   98.38 \[97.52, 99.23] |
|                  | p（实际值 >= 声称值） |                     0.1 |                  0.0092 |                  0.0027 |                 <0.0001 |
|                  | p（无损失）        |                    0.25 |                   0.022 |                  0.0085 |                 0.00025 |
| GSQ-RCO IQ2\_XS  | 声称值（卡片）       |                  100.00 |                   99.44 |                  100.00 |                   99.82 |
|                  | 实际值（测量）       |  99.58 \[98.53, 100.47] |  99.45 \[98.12, 100.73] |  99.58 \[98.47, 100.70] |  99.54 \[98.88, 100.17] |
|                  | p（实际值 >= 声称值） |                    0.21 |                    0.51 |                    0.24 |                    0.19 |
|                  | p（无损失）        |                    0.48 |                    0.43 |                    0.52 |                    0.17 |
| UD IQ1\_S        | 实际值（测量）       |  99.58 \[98.96, 100.21] |   97.42 \[95.41, 99.39] | 100.21 \[99.03, 101.38] |   99.08 \[98.29, 99.85] |
|                  | p（无损失）        |                    0.26 |                   0.011 |                    0.73 |                   0.023 |
| UD IQ1\_M        | 实际值（测量）       |  99.68 \[98.94, 100.42] |   98.37 \[96.95, 99.76] | 100.37 \[99.15, 101.61] |  99.48 \[98.82, 100.14] |
|                  | p（无损失）        |                    0.52 |                   0.025 |                    0.56 |                    0.13 |
| UD IQ2\_XXS      | 实际值（测量）       | 100.00 \[99.32, 100.58] |  99.53 \[98.36, 100.68] | 100.47 \[99.27, 101.74] | 100.00 \[99.40, 100.58] |
|                  | p（无损失）        |                       1 |                    0.45 |                    0.46 |                       1 |
| UD Q2\_K\_XL     | 实际值（测量）       |  99.79 \[99.16, 100.37] |  99.74 \[98.69, 100.77] | 100.89 \[99.90, 101.93] | 100.13 \[99.63, 100.65] |
|                  | p（无损失）        |                    0.63 |                    0.66 |                   0.076 |                    0.62 |
| UD-Q8\_K\_XL     | 实际值（测量）       |  99.47 \[97.94, 100.53] | 100.28 \[99.52, 101.09] | 100.89 \[99.95, 101.95] | 100.19 \[99.53, 100.77] |
|                  | p（无损失）        |                    0.73 |                    0.48 |                   0.084 |                    0.59 |

</details>

#### AIME 2025 中 GSQ-RCO IQ1\_M 答错的题目

GSQ-RCO IQ1\_M 在 AIME 2025 上的得分为 97.34%（1,920 次采样中答错 51 次，每题采样 64 次），并且在 30 道题中的 15 道上至少有一次采样出错，因此单次运行答对 30/30 题的概率约为 43%。每个错误答案的数值都确实错误（其中 2 次达到 128K 上限仍未给出最终答案）。以下列出其他模型在相同题目上的正确次数供参考：

<details>

<summary>点击查看详细表格分析</summary>

| 题目（答案）    | GSQ IQ1\_M 错误次数 / 采样次数 | 给出的错误答案                                               | 官方模型答对次数 | UD-Q8\_K\_XL 答对次数 | UD IQ1\_S 答对次数 | GSQ IQ2\_XS 答对次数 |
| --------- | ---------------------: | ----------------------------------------------------- | -------: | ----------------: | -------------: | ---------------: |
| Q15 (735) |                   9/64 | 637 x2, 833 x2, 271, 636, 613, 52, 539                |    31/32 |             60/64 |          59/64 |            56/64 |
| Q28 (248) |                   8/64 | 888, 256, 608, 808, 632, 592, 136, 448                |    31/32 |             63/64 |          60/64 |            64/64 |
| Q22 (237) |                   6/64 | 57, 993, 945, 249, 473, 125                           |    32/32 |             63/64 |          62/64 |            64/64 |
| Q13 (204) |                   5/64 | \frac{587}{3}, 154, \frac{662}{3}, \frac{562}{3}, 179 |    31/32 |             64/64 |          63/64 |            63/64 |
| Q24 (149) |                   5/64 | 150 x4, 145                                           |    30/32 |             48/64 |          63/64 |            55/64 |
| Q5（279）   |                   4/64 | 9 x2, 135, 423                                        |    32/32 |             63/64 |          63/64 |            63/64 |
| Q4（117）   |                   3/64 | 119 x3                                                |    31/32 |             64/64 |          62/64 |            64/64 |
| Q11（259）  |                   2/64 | 23, 261                                               |    32/32 |             64/64 |          64/64 |            64/64 |
| Q14（60）   |                   2/64 | 无最终答案（128K 上限）x2                                      |    31/32 |             64/64 |          63/64 |            64/64 |
| Q18（82）   |                   2/64 | 106, 712                                              |    32/32 |             63/64 |          64/64 |            64/64 |
| Q2（588）   |                   1/64 | 1176                                                  |    32/32 |             64/64 |          64/64 |            64/64 |
| Q3（16）    |                   1/64 | 520                                                   |    31/32 |             63/64 |          62/64 |            63/64 |
| Q7（821）   |                   1/64 | 271                                                   |    32/32 |             63/64 |          63/64 |            63/64 |
| Q19（106）  |                   1/64 | 317                                                   |    32/32 |             63/64 |          63/64 |            63/64 |
| Q29（104）  |                   1/64 | 55                                                    |    32/32 |             64/64 |          64/64 |            62/64 |

</details>

Q28 和 Q22 属于量化造成的损失（IQ1\_M 分别答错 64 题中的 8 题和 6 题；GSQ IQ2\_XS 和官方模型几乎不会答错）；Q15 和 Q24 对所有模型来说都很难（UD-Q8\_K\_XL 在 Q24 上答对 64 题中的 48 题，且常把 149 答成 150）。

### Dynamic V3.1 更新（2026 年 10 月 30 日）

我们对 UDv3 和 UD3.1 的所有量化版本运行了 AIME25、Aider Polyglot、LiveCodeBench v6、HMMT 2026、GPQA Diamond、MMLU-Pro、IFEval 等基准测试，并与 GSQ-RCO 版本进行了比较。GSQ-RCO 声称所有量化版本在 AIME25 上都能恢复到 100% 的成绩，但我们无法复现这些数据。

我们提供 6 项基准测试的完整平均分（不包括 Aider Polyglot；若纳入 Aider，差异会更加明显），结果显示 UD3.1 在几乎所有任务上都表现出色。

<figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FOuLKE4mwn1xkCJchptDN%2Ftotal_ista.png?alt=media&amp;token=cdc15dba-6b30-4ca3-8318-94138acf6d27" alt=""><figcaption></figcaption></figure>

#### 我们无法复现 GSQ-RCO 的数据

<figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FgEHmQB9WBKLJ1vMssB6N%2Fclaims_ista.png?alt=media&amp;token=838ee657-1085-4c00-bcdb-66abbe2862c1" alt=""><figcaption></figcaption></figure>

ISTA-DASLab 发布的 GSQ-RCO DeepSeek-V4.1-Flash-1017 量化版本声称所有量化版本在 AIME25 上都取得了 100% 的成绩。我们无法复现这一结果；在 AIME25 上进行多轮测试并取平均后，我们发现： **GSQ-RCO 保留了基线成绩的 94.64%（而非 100%）**。在第二张图中，我们也对所有基线数据进行了缩放，以消除方法上的差异。

<div><figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FMFdsiPUHkPAXMYPblKDx%2Fgsq_rco_claims_vs_true_bars(1).png?alt=media&amp;token=99b6f559-52fe-481f-911a-92b559cfd01f" alt=""><figcaption></figcaption></figure> <figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FDHa3imd8XoDXehkvATcC%2Fgsq_rco_claims_vs_true_bars_recovery.png?alt=media&amp;token=244b229c-1b23-47e3-bfa5-d0b9631f426b" alt=""><figcaption></figcaption></figure></div>

具体来说，ISTA 报告称 3 种量化版本在 AIME25 上的准确率均为 100%。但我们对每种量化版本的每道题测试了 16 次：30 道题 × 16 个样本 = 每种量化版本 480 个答案，温度为 1.0，推理强度为 50。结果显示量化版本的性能明显下降，并非所有位宽都能达到 100% 的准确率。&#x20;

<figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FtcF0k9ss042lXLgvDyIt%2Faime25.png?alt=media&amp;token=8025e417-e669-43cb-bf8f-ce69a9254aca" alt="" width="375"><figcaption></figcaption></figure>

根据 README.md，GSQ-RCO 基准测试同样采用 50 的推理强度

#### KLD 是一项合理的指标

近期有一些说法认为 KLD 并不是好的指标。KL 散度（KLD）用于衡量在同一文本上，量化模型的下一个 token 预测与参考模型的预测之间相差多远。

$$
\text{min  } D\_{KL} \large( \theta, \hat{\theta}\large)
$$

**量化的首要目标是将 KLD 降至 0，同时减小量化模型的磁盘占用** （也可以纳入其他优化目标，例如生成速度）。

如果 KLD 为 0，模型就完美重建了输出 logits，因此量化模型生成的输出与原始模型完全相同。

可以看到，GSQ-RCO 的 KLD 明显更高、top-1% 一致率更低，甚至不如我们旧版的 Unsloth v3 量化版本；v3.1 则进一步提升了表现。

<figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F0YkDIvosvnP6nRVlhNy5%2FKLD%20ISTA.png?alt=media&amp;token=a4601232-2858-4b8d-a618-8991a48eeb6d" alt="" width="563"><figcaption></figcaption></figure>

有人认为 KLD 可以通过在测试集上计算 KLD，或只用一个数据集计算 KLD 来“钻空子”或刷高基准成绩。为了验证这一说法，我们在多个留出测试集上进行了测试，结果显示 UDv3.1 在所有方面都优于 GSQ-RCO。

<figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FBBJeFPqCiW0Al9IvGNsC%2Fsize_vs_kld_per_axis(2).png?alt=media&amp;token=08452280-2005-4fa9-bdc7-a37f162b49e7" alt=""><figcaption></figcaption></figure>

我们还提供了所有留出测试集的 top-1% 一致率：

<figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FcCroCNVfybzFZ7lAMHVy%2Fsize_vs_top1_per_axis(2).png?alt=media&amp;token=a7f50164-e15c-45ef-911b-e73882436845" alt=""><figcaption></figcaption></figure>

#### 量化会增加推理长度

我们还测试了低位宽量化版本是否会进行更长时间的思考：所有测试的上下文长度都设为 32K，若量化版本思考时间过长则判定失败。我们还在最多 128K 个 token 的长度下运行了 LiveCodeBench，结果相近。我们列出了 6 项基准测试中被截断的答案数量，并显示 Unsloth 量化版本的截断次数远少于 GSQ 的量化版本（也就是说，思考得更少）。

<figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FEKPO459yFA9vQwKohCR0%2Ftruncation.png?alt=media&amp;token=e8ddafad-7f4e-4891-a329-511ffd177365" alt="" width="375"><figcaption></figcaption></figure>

不过，这确实表明量化会增加思考推理长度，因此使用较低位宽的量化版本时，应准备分配更大的推理预算。

#### 基准测试中移除 Engram

我们还在绘图时移除了 Engram，但这不会改变任何结果，因为所有低位宽量化版本都使用 IQ4\_NL 作为 Engram；Q2\_K\_XL 和 IQ2\_XXS 则使用 Q5\_K。

<figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fzggh3ij4y2HInPA0LU80%2Fremove%20engram.png?alt=media&amp;token=5900687a-ad79-4d69-8650-318fa3a17d61" alt=""><figcaption></figcaption></figure>

#### 完整基准测试结果

<details>

<summary>点击查看详细表格分析</summary>

| 量化版本               | 大小（GB） | AIME25 | HMMT 2026 年 2 月 | GPQA-D | MMLU-Pro | IFEval | LCB v6（32K） | 6 项平均分 | Aider pass\@1 | 截断率（6 项） |
| ------------------ | -----: | -----: | --------------: | -----: | -------: | -----: | ----------: | -----: | ------------: | -------: |
| UD-Q8\_K\_XL（参考）   |  508.4 |  97.08 |           68.94 |  90.47 |    88.61 |  95.10 |       85.90 |  87.68 |             - |     1.48 |
| UD-Q2\_K\_XL（v3.1） |  334.8 |  97.50 |           69.89 |  89.58 |    88.28 |  94.92 |       84.76 |  87.49 |             - |     2.10 |
| UD-IQ2\_XXS（v3.1）  |  300.5 |  96.88 |           67.61 |  88.95 |    87.53 |  95.19 |       83.62 |  86.63 |         44.38 |     2.71 |
| UD-IQ1\_M（v3.1）    |  250.4 |  95.00 |           62.88 |  88.38 |    87.53 |  95.10 |       84.38 |  85.55 |         42.13 |     2.91 |
| UD-IQ1\_S（v3.1）    |  233.0 |  92.92 |           57.01 |  87.63 |    86.62 |  94.92 |       82.10 |  83.53 |         36.52 |     4.15 |
| GSQ-RCO IQ2\_XS    |  265.8 |  95.00 |           64.39 |  88.64 |    86.62 |  94.27 |       84.95 |  85.64 |         41.57 |     2.83 |
| GSQ-RCO IQ2\_XXS   |  248.8 |  95.21 |           57.95 |  85.80 |    86.53 |  93.72 |       82.86 |  83.68 |         36.52 |     4.00 |
| GSQ-RCO IQ1\_M     |  231.3 |  91.88 |           53.60 |  85.10 |    85.49 |  91.77 |       82.86 |  81.78 |         29.78 |     4.69 |

</details>

#### 完整基准测试方法

<details>

<summary>点击查看详细表格分析</summary>

| 基准测试            | 来源（修订版本）                                   |   项目数 |               每项样本数 |          最大 token 数 | 种子基数                | 提示词                                                                           | 评分器                                                   |
| --------------- | ------------------------------------------ | ----: | ------------------: | ------------------: | ------------------- | ----------------------------------------------------------------------------- | ----------------------------------------------------- |
| AIME25          | MathArena/aime\_2025 (c94da77e)            |    30 |                  16 |              32,768 | 20261029            | 题目 + "Please reason step by step, and put your final answer within \boxed{}." | 对最后一个 \boxed{} 使用 math\_verify，失败时回退到整数精确匹配           |
| HMMT 2026 年 2 月 | MathArena/hmmt\_feb\_2026                  |    33 |                  16 |              32,768 | 20261029            | 同 AIME25                                                                      | math\_verify                                          |
| GPQA-D          | Idavidrein/gpqa diamond (633f5ee8)         |   198 | 8（4 + 4；较早上传的版本为 4） |              32,768 | 20261026 + 20261029 | OpenAI simple-evals 多项选择模板                                                    | 最后一个 "Answer: X"；回退匹配 \boxed{X}、"answer is (X)" 或单独字母 |
| MMLU-Pro        | 分层抽取的 1,203 项子集                            | 1,203 |                   2 |              32,768 | 20261029            | simple-evals 风格，最多 10 个选项                                                     | 最后一个 "Answer: X"                                      |
| IFEval          | google/IFEval                              |   541 |                   2 |              32,768 | 20261029            | 原始提示词                                                                         | 官方 instruction\_following\_eval，严格模式，按提示词评估           |
| LCB v6（32K）     | livecodebench/code\_generation\_lite test6 |   175 |                   3 |              32,768 | 20261026            | 官方 LCB 系统提示词 + 用户提示词                                                          | 官方 extract\_code + run\_test，每个测试 6 秒，在沙盒子进程中运行       |
| 6 项平均分          | 以上所有基准测试                                   |       |                     |                     |                     |                                                                               | 9 个 pass\@1 值的平均值                                     |
| Aider pass\@1   | Aider Polyglot                             |   225 |               1 次试验 | 每次回复 32,768 个 token | 不适用                 | 官方 Docker 中的 aider 基准测试                                                       | 练习的单元测试                                               |
| 截断率（6 项）        | 6 个基准测试                                    |       |                     |              32,768 |                     |                                                                               | 答案在 token 上限处结束的比例                                    |

</details>

### ⚙️ 使用指南

**DeepSeek-V4.1-Flash-1017** 将 MoE 与 **Engram 条件记忆**相结合：最多包含四个 token 的 n-gram 会为每个 token 访问少量表格行，因此无需让整个表常驻 GPU 内存。推理时最好使用 Unsloth，它通过在 llama.cpp 基础上进行优化，使 DeepSeek-V4.1 推理速度最高可达其他侧重 CPU/VRAM/ngram 的代码库的 **3 倍** 更快。

1 位 `UD-IQ1_S` 可在配备 128GB 内存的设备上运行，例如 MacBook、DGX Spark 或 RTX Spark；而 3 位 `UD-IQ3_XXS` 可在 Mac Studio 等配备 256GB RAM 的设备上运行。

与我们的 [Qwen3.8-Flash-Next](https://unsloth.ai/docs/zh/mo-xing/qwen3.8-next.md) 指南中的 PLE / n-gram 层类似，Engram 的 110.6–202.8 GB 表可通过 mmap 保存在 SSD 上。数据行会按需加载到操作系统缓存中，从而节省 RAM/VRAM，同时仍需满足完整的磁盘空间要求。

#### **DeepSeek-V4.1-Flash-1017 的要求：**

**表：硬件要求** （RAM + VRAM，或统一内存；Engram 存放在 SSD 上。）

| 1 位        | 2 位        | 3 位        | 4 位    | 8 位    |
| ---------- | ---------- | ---------- | ------ | ------ |
| 128–145 GB | 176–205 GB | 256–290 GB | 305 GB | 315 GB |

估算值比非 Engram 权重所需空间多出约 5–10 GB。运行时和上下文可能需要更多空间。

**n-gram 存储：** 下方列出了查找格式和权重大小。Rest GB 是所需 RAM/VRAM 的绝对最低容量。

| 量化版本         | N-gram 格式 / GB  | 剩余 GB |
| ------------ | --------------- | ----- |
| UD-IQ1\_S    | IQ4\_NL / 110.6 | 122.4 |
| UD-IQ1\_M    | IQ4\_NL / 110.6 | 139.8 |
| UD-IQ2\_XXS  | Q5\_K / 135.2   | 165.3 |
| UD-Q2\_K\_XL | Q5\_K / 135.2   | 199.6 |
| UD-IQ3\_XXS  | Q6\_K / 161.3   | 233.5 |
| UD-IQ3\_S    | Q6\_K / 161.3   | 262.3 |
| UD-Q3\_K\_XL | MXFP8 / 202.8   | 282.3 |
| UD-Q4\_K\_XL | MXFP8 / 202.8   | 297.9 |
| UD-Q8\_K\_XL | MXFP8 / 202.8   | 305.6 |

### 推荐设置

DeepSeek 建议将 temperature = 1.0、top-p = 1.0，并禁用 top-k 和 min-p：

| 参数            | 设置                  |
| ------------- | ------------------- |
| `temperature` | `1.0`               |
| `top_p`       | `1.0`               |
| 最大上下文窗口       | `1,048,576` 个 token |

DeepSeek 建议为其长文本生成配置 **至少允许 256K 个输出 token** 。

#### **思考强度**

默认启用思考，设置为 `reasoning_effort=75` （“高”）。你可以设置一个介于 **1 到 100**。较高的值会让模型进行更充分的推理；它们不是 token 上限。随附的模板还接受 `low` = 50, `medium` = 62, `high` = 75 和 `max` = 100.

例如，在启动命令中添加以下选项之一：

```bash
# 默认思考力度
--chat-template-kwargs '{"reasoning_effort":75}'

# 最大思考力度
--chat-template-kwargs '{"reasoning_effort":100}'

# 禁用思考
--chat-template-kwargs '{"enable_thinking":false}'
```

## 运行 **DeepSeek-V4.1-Flash-1017** 教程：

本教程使用 `UD-Q2_K_XL`。Unsloth 会自动选择接近最优的 DeepSeek-V4.1 卸载、ngram 等配置，确保你的设置尽可能获得接近最佳的速度。

### 🦥 Unsloth 指南

[Unsloth Desktop](https://unsloth.ai/docs/desktop) 是我们为 macOS、Windows 和 Linux 上的本地 AI 打造的开源界面。你可以在一个应用中搜索和下载 GGUF、配置 CPU 和 GPU 卸载、调整推理设置并连接工具。

{% stepper %}
{% step %}

#### 安装 Unsloth

最简单的入门方式是下载 [Unsloth 桌面应用](https://unsloth.ai/docs/zh/desktop.md)。可运行于 [macOS](https://unsloth.ai/docs/zh/kuai-su-kai-shi/install/mac.md), [Windows](https://unsloth.ai/docs/zh/kuai-su-kai-shi/install/windows-installation.md)，以及 [Linux](https://unsloth.ai/docs/zh/kuai-su-kai-shi/install/linux.md).

<a href="https://unsloth.ai/download" class="button primary" data-icon="down-to-bracket">下载 Unsloth</a>

* <i class="fa-apple">:apple:</i> [下载适用于 macOS](https://unsloth.ai/download/mac)
* <i class="fa-windows">:windows:</i> [下载适用于 Windows](https://unsloth.ai/download/windows)
* <i class="fa-linux">:linux:</i> [下载适用于 Linux](https://unsloth.ai/download/linux)

或者，如果你更喜欢手动安装：
{% endstep %}

{% step %}

#### 搜索并下载 DeepSeek-V4.1-Flash-1017

前往 [Unsloth Chat](https://unsloth.ai/docs/zh/xin/studio/chat.md) 或 Model hub，搜索 **DeepSeek-V4.1-Flash-1017** 并选择 [unsloth/DeepSeek-V4.1-Flash-1017-GGUF](https://huggingface.co/unsloth/DeepSeek-V4.1-Flash-1017-GGUF)。使用上方列出的大小和内存要求下载你想要的量化版本。
{% endstep %}

{% step %}

#### 运行 DeepSeek-V4.1-Flash-1017

默认启用思考模式，使用 `75`，你可以在我们的切换开关中更改它。Unsloth 会自动选择接近最优的 DeepSeek-V4.1 卸载、ngram 等配置，确保你的设置获得尽可能接近最佳的速度。

更多信息请查看我们的 [Unsloth 推理指南](https://unsloth.ai/docs/zh/xin/studio/chat.md).

使用 UD-IQ1\_S 时，233.0 GB 的下载包含一个 110.6 GB 的 Engram n-gram 表和 122.4 GB 的其他权重。使用 Engram 按需加载可将查找表保留在 SSD 上，并为缓存行、上下文和运行时缓冲区提供额外的 RAM/VRAM。有关内存要求，请参阅上方的使用指南。
{% endstep %}

{% step %}

#### 通过 Unsloth API 提供 DeepSeek-V4.1-Flash-1017 服务

你可以使用 `unsloth run` 命令，并通过以下方式使用 API 提供 DeepSeek-V4.1-Flash-1017 服务 `llama-server` 运行时标志，包括上下文大小、GPU 层、线程、采样、网络和工具配置。更多信息请查看我们的 [API 文档](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/api.md) 或 [unsloth start](https://unsloth.ai/docs/zh/ji-cheng/unsloth-start.md).

{% code overflow="wrap" %}

```bash
unsloth run --model unsloth/DeepSeek-V4.1-Flash-1017-GGUF:UD-Q2_K_XL \\
    --temp 1.0 \\
    --top-p 1.0 \\
    --min-p 0.0 \\
    --chat-template-kwargs '{"reasoning_effort":75}'
```

{% endcode %}

使用支持 DeepSeek-V4.1-1017 和 Engram 按需加载的运行时。将 n-gram 表保留在磁盘上时，请应用《使用指南》中的 SSD 卸载和内存设置。
{% endstep %}

{% step %}

#### Unsloth 现在已准备就绪

你可以通过 Unsloth Desktop 将 DeepSeek-V4.1-Flash-1017 连接到你的工具。Unsloth 还支持以下工作流：

* **连接工具：** [Claude Code](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/claude-code.md), [Codex](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/codex.md), [网页搜索](https://unsloth.ai/docs/zh/xin/studio/chat.md#advanced-web-search), [MCP](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/mcp.md) 等等
* **训练模型：** 微调其他受支持的文本、扩散、 [嵌入](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/embedding-finetuning.md)，等等
* **生成媒体：** 创建并训练 [图像](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/diffusion-image.md)、视频、 [TTS](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/text-to-speech-tts-fine-tuning.md) 在本地

<div align="center"><figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FYShiiub5gs5pCQLX6d4U%2FScreenshot%202026-08-15%20at%2012.18.24%E2%80%AFAM.png?alt=media&amp;token=d6996797-a144-4113-b4c3-155cca6c39a0" alt="Unsloth Desktop Agents settings interface example" width="563"><figcaption><p>Unsloth Desktop 的 Agents 设置（界面示例）。连接工具时，选择 DeepSeek-V4.1-Flash-1017 和你下载的量化版本。</p></figcaption></figure></div>
{% endstep %}
{% endstepper %}

### 🦙 在 llama.cpp 中运行 DeepSeek-V4.1-Flash

{% stepper %}
{% step %}
我们需要使用专用的 llama.cpp PR [此处](https://github.com/ggml-org/llama.cpp/pull/30817)。你也可以按照下面的构建说明操作。将 `-DGGML_CUDA=ON` 改为 `-DGGML_CUDA=OFF` 如果你没有 GPU，或者只想使用 CPU 进行推理。 **对于 Apple Mac / Metal 设备**，设置 `-DGGML_CUDA=OFF` 然后照常继续即可——Metal 支持默认启用。

```bash
apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev git -y
git clone https://github.com/ggml-org/llama.cpp
git -C llama.cpp fetch origin pull/30817/head:deepseek41
git -C llama.cpp checkout deepseek41
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp
```

{% endstep %}

{% step %}
要运行模型，可以执行：

```bash
pip install -U "huggingface_hub[cli]"
hf download unsloth/DeepSeek-V4.1-Flash-1017-GGUF \
    --local-dir unsloth/DeepSeek-V4.1-Flash-1017-GGUF \
    --include "*UD-Q2_K_XL*"
```

将全部七个分片放在同一文件夹中，并将 `--model` 指向第一个分片。llama.cpp 会自动加载其余分片。
{% endstep %}

{% step %}
然后运行：

```bash
./llama.cpp/llama-cli \
    --model unsloth/DeepSeek-V4.1-Flash-1017-GGUF/UD-Q2_K_XL/DeepSeek-V4.1-Flash-1017-UD-Q2_K_XL-00001-of-00007.gguf \
    --temp 1.0 \
    --top-p 1.0 \
    --top-k 0 \
    --min-p 0.0 \
    --chat-template-kwargs '{"reasoning_effort":75}' \
    --load-mode mmap \
    --lazy-mode on \
    --override-tensor "per_layer_token_embd.weight=CPU"
```

此示例会按需从 SSD 加载 Engram n-gram 表。请保持 `--load-mode mmap` 和 `--lazy-mode on` 启用，以便将数据卸载到 SSD。
{% endstep %}
{% endstepper %}

### ⚡**DSpark** ——投机解码

DeepSeek-V4.1 包含 **DSpark**，这是一种投机解码架构，会先生成多个候选 token，再由主模型进行验证。它与 Engram n-gram 查找表是不同的功能： **Engram 提供学习得到的记忆；DSpark 则加速解码**。名称相似的 n-gram 投机解码选项也是另一项不同的功能。

使用 DSpark 时，主模型需搭配对应的 **V4.1-1017 drafter** ，并使用支持 DSpark 的运行时。请确保 drafter 与主模型检查点的版本一致，并为 drafter 预留额外内存。本指南中的 CLI 和服务器示例使用的是普通解码。

**DSpark 可使 DeepSeek-V4.1-Flash-GGUF 的推理解码速度提升约 1.3 到 1.5 倍！**

我们提供 8 GB 的 Q8\_0 DSpark 模块，以及 8.5 GB 的完整 BF16 版本。

### :checkered\_flag:灵活搭配 Engram 精度

你还可以根据需要调整 DeepSeek-V4.1 的 Engram 精度。

| Engram 精度 | 大小（GB）   |
| --------- | -------- |
| MXFP8（原始） | 202.8 GB |
| Q6\_K     | 161.3 GB |
| Q5\_K     | 135.2 GB |
| IQ4\_NL   | 110.6 GB |

在 Unsloth 中打开模型选择器，将鼠标悬停在模型上，然后点击齿轮图标打开运行设置，启用 **高级设置**，然后在 **内存 > Engram 表**下选择一个表。菜单会显示每个表的大小，并将量化版本自带的表标记为内置。下次加载模型时，Unsloth 会下载所选的表；如果你尚未下载量化版本自带的表，则会跳过该表。从命令行运行时，添加 `--engram`:

<figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F0m93Cg9ndw5E6YpekLrw%2Fengram-table-deepseek.png?alt=media&amp;token=c10b14c7-f712-4fc7-9808-06e2b704f45d" alt="" width="375"><figcaption></figcaption></figure>

```bash
unsloth run --model unsloth/DeepSeek-V4.1-Flash-1017-GGUF:UD-IQ1_S --engram Q6_K
```

llama.cpp b12233 或更新版本可以通过以下选项直接加载表： `--ple` ([PR #31185](https://github.com/ggml-org/llama.cpp/pull/31185)），无需 `set_split.py` 或重命名。下载所需的表格，并将 `--ple` 添加到常用命令中。示例：使用 Q6\_K 表格的 UD-IQ1\_S：

```bash
hf download unsloth/DeepSeek-V4.1-Flash-1017-GGUF \
    --local-dir unsloth/DeepSeek-V4.1-Flash-1017-GGUF \
    --include "engram/*Q6_K*"
./llama.cpp/llama-server \
    --model unsloth/DeepSeek-V4.1-Flash-1017-GGUF/UD-IQ1_S/DeepSeek-V4.1-Flash-1017-UD-IQ1_S-00001-of-00005.gguf \
    --ple unsloth/DeepSeek-V4.1-Flash-1017-GGUF/engram/DeepSeek-V4.1-Flash-1017-engram-Q6_K.gguf_file
```

这样 llama.cpp 就会忽略量化文件自带的表格（它是量化文件的一部分（`-00005-of-00005` 对 UD-IQ1\_S 而言； [engram README](https://huggingface.co/unsloth/DeepSeek-V4.1-Flash-1017-GGUF/blob/main/engram/README.md) 会列出每种量化对应的表格）。删除该文件，或使用 `--exclude "UD-IQ1_S/*-00005-of-00005.gguf"`不下载它，可节省 110.6 GB。若不使用 `--ple`，量化文件会改用自带的表格；如果该文件已不存在，则会无法启动。上面的 PR #30817 构建版本不支持 `--ple`；使用该功能时，请按以下步骤操作。llama.cpp b12233 及更新版本会将 MXFP8 表格（包括 UD-Q3\_K\_XL、UD-Q4\_K\_XL 和 UD-Q8\_K\_XL 中的表格）作为另一种类型（F8\_E4M3）读取，导致输出错误且不会报错，因此使用 MXFP8 时请采用 PR #30817 构建版本。

例如，下载默认使用 IQ4\_NL engram 的动态 1 位量化 IQ1\_S 后，只需下载位于以下位置的 MXFP8 engram，即可将其替换为 MXFP8 版本： <https://huggingface.co/unsloth/DeepSeek-V4.1-Flash-1017-GGUF/tree/main/engram> 文件名为 `DeepSeek-V4.1-Flash-1017-engram-MXFP8.gguf_file` 按以下脚本操作：

```bash
# 1. 获取表格和脚本
hf download unsloth/DeepSeek-V4.1-Flash-1017-GGUF \
  --include "engram/*MXFP8*" "engram/set_split.py" --local-dir .

# 2. 将其标记为第 5 个分片（共 5 个），即 UD-IQ1_S 的表格位置
python engram/set_split.py engram/DeepSeek-V4.1-Flash-1017-engram-MXFP8.gguf_file 5 5

# 3. 将旧表格另存一份，再把新表格重命名为表格分片的文件名
mv UD-IQ1_S/DeepSeek-V4.1-Flash-1017-UD-IQ1_S-00005-of-00005.gguf UD-IQ1_S/engram-IQ4_NL.bak
mv engram/DeepSeek-V4.1-Flash-1017-engram-MXFP8.gguf_file \
   UD-IQ1_S/DeepSeek-V4.1-Flash-1017-UD-IQ1_S-00005-of-00005.gguf

# 4. 像往常一样运行
llama-server -m UD-IQ1_S/DeepSeek-V4.1-Flash-1017-UD-IQ1_S-00001-of-00005.gguf
```

## 📊 基准测试

### 📊 量化分析

<figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FZbUjhpI7wJTjf3pM1uwu%2Fsize_vs_top1(1).png?alt=media&amp;token=4e133008-8026-4e93-baa7-d7f2e2b81ecc" alt=""><figcaption></figcaption></figure>

结果与 DeepSeek 在 wiki1100 和 long17k 上的官方参考数据进行比较。KL 越低，表示下一个 token 的概率越接近；top-1 越高，表示预测匹配率越高。

DeepSeek 混合使用 **MXFP4**、FP8 和 BF16。Q4 和 Q8 保留 **MXFP4** 专家权重以及相同的 Engram 表格；它们的标签并不代表每个张量的精度。Q4 将许多非专家权重以 Q8\_0 格式存储；Q8 使用 BF16。

我们还展示了将 engram 精度从 IQ4\_NL 更改为 Q5\_K、Q6\_K 和 MXFP8 时的结果，并提供 **可独立使用的 engram，让你可以自由混搭。**

<details>

<summary>点击查看详细表格分析</summary>

| 量化版本         | 总大小      | wiki1100 KL / top-1 | long17k KL / top-1 |
| ------------ | -------- | ------------------- | ------------------ |
| UD-IQ1\_S    | 233.0 GB | 0.457 / 82.8%       | 0.364 / 85.1%      |
| UD-IQ1\_M    | 250.4 GB | 0.314 / 87.1%       | 0.241 / 88.2%      |
| UD-IQ2\_XXS  | 300.5 GB | 0.203 / 90.5%       | 0.142 / 91.2%      |
| UD-Q2\_K\_XL | 334.8 GB | 0.138 / 91.5%       | 0.0879 / 93.3%     |
| UD-IQ3\_XXS  | 394.7 GB | 0.0625 / 94.6%      | 0.043 / 95.1%      |
| UD-IQ3\_S    | 423.6 GB | 0.0316 / 96.0%      | 0.0195 / 96.8%     |
| UD-Q3\_K\_XL | 485.1 GB | 0.0204 / 96.5%      | 0.0114 / 97.4%     |
| UD-Q4\_K\_XL | 500.7 GB | 9.00e-03 / 98.2%    | 4.46e-03 / 98.5%   |
| UD-Q8\_K\_XL | 508.4 GB | 4.76e-03 / 98.5%    | 2.81e-03 / 98.7%   |

</details>

**如何选择量化版本：** 与 Q8 相比，IQ1\_S 可节省约 54% 的磁盘空间。IQ1\_M 仅多占用 17.4 GB，但在 wiki1100 上的 Top-1 一致率提高 4.3 个百分点，在 long17k 上提高 3.1 个百分点。IQ3 系列的一致率可达 94.6–96.8%。

### **GGUF KLD 与 Top-1% 基准测试**

与官方 F32 参考模型相比，我们的量化版本在 wiki1100 上的 Top-1 一致率为 82.8–98.5%，在 long17k 上为 85.1–98.7%。与 UD-Q8\_K\_XL 相比，UD-Q4\_K\_XL 可节省 7.7 GB，一致率差距在 wiki1100 上为 0.3 个百分点，在 long17k 上为 0.2 个百分点。Q8 在两个数据集上的 KL 散度也更低。

**我们还将 engram 表的精度从 IQ4\_NL 改为 Q5\_K、Q6\_K 和 MXFP8，并展示这对 KLD 的影响**

<figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FdIFvyiUQafZ2upn6VdhJ%2Fsize_vs_kld(1).png?alt=media&amp;token=e5d14eab-9143-4d0a-b1a6-f5427d995808" alt=""><figcaption></figcaption></figure>

### **官方基准测试**

DeepSeek 公布了以下 **V4.1-Flash-1017** 与此前发布的 V4.1-Flash 相比的结果。这些是模型的官方结果，并非本指南中 GGUF 的测量结果。来源： [DeepSeek 的 1017 模型卡](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash-1017).

| 基准测试                    | V4.1-Flash-1017 | V4.1-Flash   |
| ----------------------- | --------------- | ------------ |
| HLE（不使用工具）              | 42.6 (44.0†)    | 36.8 (39.1†) |
| Terminal-Bench 4.0      | 42.3            | 31.2         |
| DeepSWE v1.1            | 77.0            | 74.2         |
| ProgramBench            | 29.1            | 20.3         |
| NL2Repo-Bench           | 68.2            | 65.4         |
| Automation-Bench v1.0.6 | 60.5            | 54.8         |
| Agents’ Last Exam       | 35.4            | 31.8         |
| Apex Bench v1.1         | 72.1            | 64.6         |
| Chartography（使用工具）      | 83.0            | 78.9         |
| BabyVision（使用工具）        | 92.5            | 89.6         |
| ZeroBench-main（使用工具）    | 51.0            | 49.0         |

† HLE 的纯文本子集。DeepSeek 在 Terminal-Bench 4.0 中使用 Claude Code harness，在 DeepSWE v1.1 中使用 Mini-SWE-V2。得分取决于评估设置、推理力度和上下文预算。

### GGUF 基准测试明细

**评测器：**

参见 [动态 3.1 GGUF](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/dynamic-3.0-ggufs/dong-tai-3.1-gguf.md#graders-used-for-benchmarks)

**基础设施与基准测试问题及修复：**

参见 [动态 3.1 GGUF](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/dynamic-3.0-ggufs/dong-tai-3.1-gguf.md#infrastructure-and-benchmark-issues-and-fixes)

**基准测试的 DeepSWE 配置：**

参见 [动态 3.1 GGUF](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/dynamic-3.0-ggufs/dong-tai-3.1-gguf.md#deepswe-setup-for-benchmarks)

**基准测试的 Terminal Bench 配置：**

参见 [动态 3.1 GGUF](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/dynamic-3.0-ggufs/dong-tai-3.1-gguf.md#terminal-bench-setup-for-benchmarks)

**因问题而排除的 Terminal Bench 任务：**

参见 [动态 3.1 GGUF](https://unsloth.ai/docs/zh/ji-chu-zhi-shi/dynamic-3.0-ggufs/dong-tai-3.1-gguf.md#excluded-terminal-bench-tasks-due-to-issues)

#### 每个模型的基准测试运行次数

为保证公平，我们进行了多轮测试：每种量化版本的 Terminal Bench 和 DeepSWE 各运行 3 次，AIME 2025 各运行 64 次，LiveCodeBench 各运行 12 次，此外还有更多测试。部分试验因基础设施问题（超时、CPU 过载等）需要重跑，否则就会判为失败；这类情况总体只涉及少数题目。


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://unsloth.ai/docs/zh/mo-xing/deepseek-v4.1-flash.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
