### :cake:动态量化消融
我们也做了一些消融实验，以确认我们的校准数据集和动态量化方法是否真的有效。Unsloth 动态方法的诀窍是将 **重要层量化到更高位宽** 比如 8bits，而 **不重要层则保留在较低位宽，如 2bits**.
为了测试我们的方法，我们将特定张量保留在较低精度，例如 4bit 与更高精度进行对比。如下所示，我们将 `attn_k_b` 张量保留在 4bit（半动态）而不是 8bit（当前 Unsloth），仅仅将量化大小增加约 100MB 左右（<0.1%），准确率就会显著提升！
{% hint style="success" %}
`attn_k_b` 而 DeepSeek V3.1 中其他张量都极其重要 / 对量化非常敏感，应当保留更高精度以维持准确率！
{% endhint %}
### :bug:聊天模板 Bug 修复
在测试 DeepSeek-V3.1 量化版本时，我们发现一些低位宽量化没有正确包裹 `` 或出现了一些奇怪的格式。这导致一些社区量化在低位宽下无法工作，因此造成了不公平的比较。我们发现 llama.cpp 对 minja（更简单版本的 jinja）的使用不接受 `.split`中的位置参数。我们必须将：
```
{%- set content = content.split("", 1)[1] -%}
```
改为下面这样：
```
{%- set splitted = content.split("") -%}
{%- set content = splitted[1:] | join("") -%}
```
查看 [这里](https://huggingface.co/unsloth/DeepSeek-V3.1-GGUF?chat_template=default\&format=true) 用于我们的固定聊天模板，或者 [这里](https://huggingface.co/unsloth/DeepSeek-V3.1/raw/main/chat_template.jinja) 用于原始 jinja 文件。
### :bar\_chart:Pass Rate 1
Aider 主要报告 pass rate 2。我们也报告 pass rate 1，以比较相同大小的社区量化。我们看到，我们的动态量化在与其他相近大小的社区量化相比时表现好得多，尤其是在小于 2 bit 和大于 4 bit 的情况下。3 bit 和 4 bit 的表现也同样很好。
## :computer:运行 DeepSeek V3.1 动态量化
请前往我们的 [DeepSeek V3.1 指南](/docs/zh/mo-xing/tutorials/deepseek-r1-how-to-run-locally/deepseek-r1-dynamic-1.58-bit.md) ，或者若想快速获取动态 2bit 版本，请执行：
```bash
apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
-DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-quantize llama-cli llama-gguf-split llama-mtmd-cli llama-server
cp llama.cpp/build/bin/llama-* llama.cpp
```
然后使用 `llama.cpp` 即可直接下载权重。我们也已设置好建议的最佳参数，例如 temperature、聊天模板等：
```bash
export LLAMA_CACHE="unsloth/DeepSeek-V3.1-GGUF"
./llama.cpp/llama-cli \
-hf unsloth/DeepSeek-V3.1-GGUF:Q2_K_XL \\
--jinja \
--n-gpu-layers 99 \\
--temp 0.6 \\
--top-p 0.95 \
--min-p 0.01 \
--ctx-size 8192 \\
--seed 3407 \
-ot ".ffn_.*_exps.=CPU"
```
---
# Agent Instructions: Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.
Perform an HTTP GET request on the current page URL with the `ask` query parameter:
```
GET https://unsloth.ai/docs/zh/ji-chu/unsloth-dynamic-2.0-ggufs/unsloth-dynamic-ggufs-on-aider-polyglot.md?ask=
```
The question should be specific, self-contained, and written in natural language.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.