### :cake:Dynamic quantization のアブレーション
私たちの calibration dataset と dynamic quantization 手法が本当に機能するかを確認するために、いくつかのアブレーションも行いました。Unsloth の dynamic 手法のコツは、 **重要な層をより高い bit に量子化する** たとえば 8bit にし、 **重要でない層は 2bit のようなより低い bit に残す**.
ことです。手法を検証するため、特定のテンソルを 4bit のような低精度にするか、高精度にするかを試します。以下の例では `attn_k_b` テンソルを 4bit（semi-dynamic）対 8bit（Unsloth current）で残し、量子化サイズをたった約100MB（<0.1%）増やすだけで、精度が劇的に向上します！
{% hint style="success" %}
`attn_k_b` また、DeepSeek V3.1 の他のテンソルは非常に重要／量子化に敏感であり、精度を保つためにはより高い精度のまま残すべきです！
{% endhint %}
### :bug:チャットテンプレートのバグ修正
DeepSeek-V3.1 の quant をテストしている最中に、いくつかの低 bit quant が properly で囲まれていなかったり、妙なフォーマットになっていたりすることが見つかりました。これにより、一部のコミュニティ quants は低 bit で動作しなくなり、不公平な比較になっていました。llama.cpp の minja（より सरलな jinja 版）の使用では、 `` で位置引数を受け付けないことがわかりました `.split`。そこで、次のように変更する必要がありました：
```
{%- set content = content.split("", 1)[1] -%}
```
を以下に：
```
{%- set splitted = content.split("") -%}
{%- set content = splitted[1:] | join("") -%}
```
参照 [こちら](https://huggingface.co/unsloth/DeepSeek-V3.1-GGUF?chat_template=default\&format=true) 私たちの固定チャットテンプレート用に、あるいは [こちら](https://huggingface.co/unsloth/DeepSeek-V3.1/raw/main/chat_template.jinja) 生の jinja ファイル用に。
### :bar\_chart:Pass Rate 1
Aider は主に pass rate 2 で報告されます。サイズの同じ community quants を比較するために、pass rate 1 も報告します。私たちの dynamic quants は、特に 2 bit 未満と 4 bit 超で、同規模の他の community quants よりかなり良い結果を出していることがわかります。3 bit と 4 bit は同様に良好に動作します。
## :computer:DeepSeek V3.1 Dynamic quants を実行
私たちの [DeepSeek V3.1 ガイド](/docs/jp/moderu/tutorials/deepseek-r1-how-to-run-locally/deepseek-r1-dynamic-1.58-bit.md) にアクセスするか、すぐに dynamic 2bit 版を取得するには、次を実行してください：
```bash
apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \\
-DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-quantize llama-cli llama-gguf-split llama-mtmd-cli llama-server
cp llama.cpp/build/bin/llama-* llama.cpp
```
その後、 `llama.cpp` を使って重みを直接ダウンロードします。temperature や chat template などの最適な推奨パラメータもすでに設定しています：
```bash
export LLAMA_CACHE="unsloth/DeepSeek-V3.1-GGUF"
./llama.cpp/llama-cli \\
-hf unsloth/DeepSeek-V3.1-GGUF:Q2_K_XL \
--jinja \
--n-gpu-layers 99 \\
--temp 0.6 \\
--top-p 0.95 \
--min-p 0.01 \\
--ctx-size 8192 \\
--seed 3407 \\
-ot ".ffn_.*_exps.=CPU"
```
---
# Agent Instructions: Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.
Perform an HTTP GET request on the current page URL with the `ask` query parameter:
```
GET https://unsloth.ai/docs/jp/ji-ben/unsloth-dynamic-2.0-ggufs/unsloth-dynamic-ggufs-on-aider-polyglot.md?ask=
```
The question should be specific, self-contained, and written in natural language.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.