### :cake:动态量化消融实验
我们还做了一些消融实验，以确认我们的校准数据集和动态量化方法是否真的有效。Unsloth 动态方法的诀窍在于将 **重要层量化到更高位数** 例如 8 位，而将 **不重要层保留在更低位数，比如 2 位**.
为了测试我们的方法，我们将某些张量保留在较低精度下，例如 4bit 与更高精度对比。如下例所示，我们将 `attn_k_b` 张量保留为 4bit（半动态）而不是 8bit（当前 Unsloth），仅仅增加约 100MB 左右的量化大小（<0.1%），准确率就显著提升！
{% hint style="success" %}
`attn_k_b` 而 DeepSeek V3.1 中的其他张量高度重要/对量化非常敏感，应保留在更高精度以维持准确率！
{% endhint %}
### :bug:聊天模板漏洞修复
在测试 DeepSeek-V3.1 量化版本时，我们发现一些较低位数量化没有正确包裹 `` ，或者格式有些奇怪。这导致一些社区量化版本在低位数下无法工作，从而造成不公平比较。我们发现 llama.cpp 对 minja（一个更简单的 jinja 版本）的使用不接受 `.split`中的位置参数。我们不得不把：
```
{%- set content = content.split("", 1)[1] -%}
```
改为下面这样：
```
{%- set splitted = content.split("") -%}
{%- set content = splitted[1:] | join("") -%}
```
请看 [这里](https://huggingface.co/unsloth/DeepSeek-V3.1-GGUF?chat_template=default\&format=true) 获取我们的固定聊天模板，或者 [这里](https://huggingface.co/unsloth/DeepSeek-V3.1/raw/main/chat_template.jinja) 获取原始 jinja 文件。
### :bar\_chart:通过率 1
Aider 主要报告的是通过率 2。我们也报告通过率 1，以比较同大小的社区量化版本。我们发现，尤其是在低于 2 位和高于 4 位的情况下，我们的动态量化比其他类似大小的社区量化好得多。3 位和 4 位的表现同样出色。
## :computer:运行 DeepSeek V3.1 动态量化版本
前往我们的 [DeepSeek V3.1 指南](/docs/zh/mo-xing/tutorials/deepseek-r1-how-to-run-locally/deepseek-r1-dynamic-1.58-bit.md) ，或者为了快速获取动态 2 位版本，执行：
```bash
apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
-DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-quantize llama-cli llama-gguf-split llama-mtmd-cli llama-server
cp llama.cpp/build/bin/llama-* llama.cpp
```
然后使用 `llama.cpp` 直接下载权重。我们也已经设置好了最佳建议参数，例如温度、聊天模板等：
```bash
export LLAMA_CACHE="unsloth/DeepSeek-V3.1-GGUF"
./llama.cpp/llama-cli \
-hf unsloth/DeepSeek-V3.1-GGUF:Q2_K_XL \
--jinja \
--n-gpu-layers 99 \
--temp 0.6 \
--top_p 0.95 \
--min_p 0.01 \
--ctx-size 8192 \
--seed 3407 \
-ot ".ffn_.*_exps.=CPU"
```
---
# Agent Instructions: Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.
Perform an HTTP GET request on the current page URL with the `ask` query parameter:
```
GET https://unsloth.ai/docs/zh/ji-chu/unsloth-dynamic-2.0-ggufs/unsloth-dynamic-ggufs-on-aider-polyglot.md?ask=
```
The question should be specific, self-contained, and written in natural language.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.