> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/grundlagen/dynamic-3.0-ggufs/unsloth-dynamic-ggufs-on-aider-polyglot.md).

# Unsloth Dynamic GGUFs auf Aider Polyglot

Leistung von Unsloth Dynamic GGUFs auf Aider-Polyglot-Benchmarks

Wir freuen uns darauf zu zeigen, wie Unsloth Dynamic GGUFs es möglich machen, LLMs wie [DeepSeek-V3.1](https://unsloth.ai/docs/de/modelle/tutorials/deepseek-v3.1-how-to-run-locally.md) (671B) auf nur **1-Bit** oder **3-Bit**, und trotzdem Modelle wie **GPT-4.5, GPT-4.1** (April 2025) und **Claude-4-Opus** (Mai 2025).

Zuvor, [haben wir gezeigt](https://unsloth.ai/docs/de/grundlagen/dynamic-3.0-ggufs.md) wie Unsloth Dynamic GGUFs andere Quantisierungsmethoden bei 5-Shot MMLU und KL-Divergenz übertreffen. Jetzt zeigen wir ihre Leistung anhand unabhängiger Drittanbieter-Bewertungen mit dem **Aider Polyglot** **Benchmark.**

<div><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fgit-blob-a114143bdd47add988182aabf9313ab40be38d7d%2Faider%20thinking.png?alt=media" alt="" width="563"><figcaption><p>Aider-Benchmarks mit Reasoning</p></figcaption></figure> <figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fgit-blob-b085c16c7f8351308229f1341846cbf1a2617d0a%2Faider%20non.png?alt=media" alt="" width="563"><figcaption><p>Aider-Benchmarks ohne Reasoning</p></figcaption></figure></div>

### ⭐**Wichtige Ergebnisse**

* Unser **1-Bit** Unsloth Dynamic GGUF verkleinert DeepSeek-V3.1 von **671 GB → 192 GB (-75 % Größe)** und der No-Thinking-Modus übertrifft GPT-4.1 (Apr. 2025), GPT-4.5 und DeepSeek-V3-0324 deutlich.
* **3-Bit** Unsloth DeepSeek-V3.1 (Thinking) GGUF: Übertrifft Claude-4-Opus-20250514 (Thinking).
* **5-Bit** Unsloth DeepSeek-V3.1 (Non-Thinking) GGUF: Erreicht die Leistung von Claude-4-Opus-20250514 (Non-Thinking).
* Unsloth Dynamic GGUFs schneiden durchgehend besser ab als andere nicht-Unsloth Dynamic imatrix GGUFs
* Andere nicht-Unsloth 1-Bit- und 2-Bit-Quantisierungen von DeepSeek-V3.1 sowie die Standard-1-Bit-Quantisierung ohne selektive Schichtquantisierung konnten entweder nicht geladen werden oder erzeugten Kauderwelsch und Schleifen-Ausgaben. Das zeigt, dass Unsloth Dynamic GGUFs die Genauigkeit weitgehend bewahren können, während andere Methoden nicht einmal funktionieren.

**Warum der** [**Aider Polyglot**](https://aider.chat/docs/leaderboards/) **Benchmark?** Aider ist eines der umfassendsten Maßstäbe dafür, wie gut LLMs schreiben, programmieren, Anweisungen befolgen und Änderungen ohne menschliches Eingreifen vornehmen können, und damit einer der härtesten und wertvollsten Benchmarks für den realen Einsatz.

{% hint style="success" %}
Der **zentrale Vorteil** bei der Nutzung des Unsloth-Pakets und der Modelle ist unsere aktive Rolle beim ***Beheben kritischer Fehler*** in großen Modellen. Wir haben direkt mit den Teams hinter [Qwen3](https://www.reddit.com/r/LocalLLaMA/comments/1kaodxu/qwen3_unsloth_dynamic_ggufs_128k_context_bug_fixes/), [Meta (Llama 4)](https://github.com/ggml-org/llama.cpp/pull/12889), [Mistral (Devstral)](https://app.gitbook.com/o/HpyELzcNe0topgVLGCZY/s/xhOjnexMCB3dmuQFQ2Zq/~/changes/618/basics/tutorials-how-to-fine-tune-and-run-llms/devstral-how-to-run-and-fine-tune), [Google (Gemma 1–3)](https://news.ycombinator.com/item?id=39671146) und [Microsoft (Phi-3/4)](https://simonwillison.net/2025/Jan/11/phi-4-bug-fixes)zusammengearbeitet und wichtige Fixes beigetragen, die die Genauigkeit deutlich verbessern.
{% endhint %}

## 🦥Unsloth Dynamic Quantisierung

{% hint style="success" %}
**Dynamic 1 Bit macht wichtige Schichten in 8 oder 16 Bit und unwichtige Schichten in 1,2,3,4,5 oder 6 Bit.**
{% endhint %}

Im Nov. 2024 zeigten unsere [4-Bit-Dynamic](https://unsloth.ai/blog/dynamic-4bit) Quants, wie man das QLoRA-Finetuning und die Modellgenauigkeit weitgehend wiederherstellen kann, indem man nur <mark style="background-color:green;">**Schichten selektiv quantisiert**</mark>. Später untersuchten wir [DeepSeek-R1](https://unsloth.ai/docs/de/modelle/tutorials/deepseek-r1-how-to-run-locally.md)die Architektur und wendeten diese ähnliche Methodik an, bei der wir einige Schichten bis auf 1 Bit und wichtige Schichten auf höhere Bits (6, 8 Bit) quantisierten. Dieser Ansatz gewann schnell an Popularität und hat sich besonders für MoE-Modelle als äußerst wirksam erwiesen, wodurch dynamische Quantisierung de facto zum Standard für die MoE-Quantisierung wurde.

Unsere Dynamic GGUFs sind noch effektiver in Kombination mit unserem [imatrix-Kalibrierungsdatensatz](https://unsloth.ai/pages/abe22dcb3049581e00371a1b82b9e9cf6821a9b0#whats-new-in-dynamic-v2.0), der für Chat- und Coding-Performance konzipiert ist. All das ermöglichte eine extreme LLM-Komprimierung ohne katastrophalen Qualitätsverlust.

Zum Beispiel führt bei Qwen2-VL-2B-Instruct das naive Quantisieren aller Schichten auf 4 Bit dazu, dass das Modell das Bild unten nicht mehr versteht. Das ist ein Zug, keine Küstenszene!

{% columns %}
{% column %}

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fgit-blob-379bd5cc72a8f8e9acb4b6a6ad9fe847bf1ec296%2FTrain_NPovU814oJVjqy9Gu3BSm.avif?alt=media" alt=""><figcaption></figcaption></figure>
{% endcolumn %}

{% column %}

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fgit-blob-38f5ea51c343a79bde7996d678761944f1dedaa7%2Fimage.png?alt=media" alt=""><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

Wir haben dynamische Benchmarks auch gezeigt in <https://docs.unsloth.ai/basics/unsloth-dynamic-2.0-ggufs> für Gemma 3 und Llama 4 Scout und gezeigt, wie wirksam unsere Methodik ist:

{% columns %}
{% column %}

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fgit-blob-28c5aa4355f5c09aef43217f2a02131aa6e3517f%2Fimage.avif?alt=media" alt=""><figcaption></figcaption></figure>
{% endcolumn %}

{% column %}

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fgit-blob-db47ebf519863f334f58c925dd6b39d0e01c359b%2Fimage.avif?alt=media" alt=""><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

### ⚙️Benchmark-Setup

Für unsere DeepSeek-V3.1-Experimente verglichen wir verschiedene Bits von **Unsloth Dynamic GGUFs** mit:

* **LLMs in voller Präzision, unquantisiert** einschließlich GPT 4.5, 4.1, Claude-4-Opus, DeepSeek-V3-0324 usw.
* ***Sonstige*****&#x20;dynamische imatrix V3.1 GGUFs**
* ***Halb-*****dynamisch** (teilweise selektive Schichtquantisierung) imatrix V3.1 GGUFs zu **Ablationszwecken**.

Benchmark-Experimente wurden hauptsächlich von [David Sluys](https://www.linkedin.com/in/david-sluys-231348208/) (neolithic5452 auf [Aider Discord](https://discord.com/channels/1131200896827654144/1408293692074360914)), einem vertrauenswürdigen Community-Mitwirkenden bei den Aider-Polyglot-Bewertungen, durchgeführt. Die Tests wurden etwa 3 Mal ausgeführt und für einen Median-Score gemittelt; die Pass-2-Genauigkeit wird wie üblich angegeben. In Aiders Discord gibt es einige reproduzierbare Benchmark-Code-Snippets.

<details>

<summary>Aufklappen für Aider-Benchmarks von Reasoning-Modellen</summary>

| Modell                            | Genauigkeit |
| --------------------------------- | ----------- |
| GPT-5                             | 86.7        |
| Gemini 2.5 Pro (Juni)             | 83.1        |
| o3                                | 76.9        |
| DeepSeek V3.1                     | 76.1        |
| **(3 Bit) DeepSeek V3.1 Unsloth** | **75.6**    |
| Claude-4-Opus (Mai)               | 72          |
| o4-mini (Hoch)                    | 72          |
| DeepSeek R1 0528                  | 71.4        |
| **(2 Bit) DeepSeek V3.1 Unsloth** | **66.7**    |
| Claude-3.7-Sonnet (Feb.)          | 64.9        |
| **(1 Bit) DeepSeek V3.1 Unsloth** | **57.8**    |
| DeepSeek R1                       | 56.9        |

</details>

<details>

<summary>Aufklappen für Aider-Benchmarks von Nicht-Reasoning-Modellen</summary>

| Modell                            | Genauigkeit |
| --------------------------------- | ----------- |
| DeepSeek V3.1                     | 71.6        |
| Claude-4-Opus (Mai)               | 70.7        |
| **(5 Bit) DeepSeek V3.1 Unsloth** | **70.7**    |
| **(4 Bit) DeepSeek V3.1 Unsloth** | **69.7**    |
| **(3 Bit) DeepSeek V3.1 Unsloth** | **68.4**    |
| **(2 Bit) DeepSeek V3.1 Unsloth** | **65.8**    |
| Qwen3 235B A22B                   | 59.6        |
| Kimi K2                           | 59.1        |
| **(1 Bit) DeepSeek V3.1 Unsloth** | **55.7**    |
| DeepSeek V3-0324                  | 55.1        |
| GPT-4.1 (April 2025)              | 52.4        |
| ChatGPT 4o (März 2025)            | 45.3        |
| GPT-4.5                           | 44.9        |

</details>

DeepSeek V3.1 hat sowohl einen Reasoning- als auch einen Nicht-Reasoning-Modus, und wir testen beide. Im Nicht-Reasoning-Modus sehen wir unten einen klaren Trend, wie unsere dynamischen Quantisierungen abschneiden. Dynamic 5 Bit erreicht 70,7 % bei Aider Pass-2, während Dynamic 1 Bit 55,7 % erreicht. In Bezug auf Größe und Genauigkeit sind die 3- und 4-Bit-Modelle extrem leistungsstark!

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fgit-blob-b085c16c7f8351308229f1341846cbf1a2617d0a%2Faider%20non.png?alt=media" alt=""><figcaption></figcaption></figure>

## :sparkler:Vergleich mit anderen Quants

Wir führen den Aider-Polyglot-Benchmark auch auf anderen dynamischen imatrix-GGUFs aus der Community aus und vergleichen ihn mit unseren. Um einen **fairen Vergleich**zu gewährleisten, tun wir Folgendes:

1. Wir wählen Dateien ähnlicher Größe und Bit-Typen zu jedem Unsloth-Quant aus.
2. Wir verwenden unser **festes Chat-Template** wenn der Community-Quant den Benchmark nicht ausführen kann. Wir haben festgestellt, dass einige Community-Quants `{"code":500,"message":"Die split-Methode muss zwischen 1 und 1 Positionsargumenten und zwischen 0 und 0 Schlüsselwortargumenten in Zeile 3, Spalte 1908 haben"}`und das wird durch die Verwendung unseres festen Chat-Templates behoben.

Wir sehen, dass Unsloth Dynamic Quants im Vergleich zu anderen Community-Quantisierungen für dieselbe Modellgröße und denselben Quant-Typ bemerkenswert gut abschneiden!

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fgit-blob-bbebbacfa75126d246c3ca1ed2ca269bc815b028%2FOther%20quants.png?alt=media" alt=""><figcaption></figcaption></figure>

<details>

<summary>Aufklappen für den Vergleich der Rohdaten mit anderen Quants</summary>

<table><thead><tr><th width="109.25">Quant</th><th width="171.25006103515625">Quant-Größe (GB)</th><th>Unsloth-Genauigkeit %</th><th>Vergleichsgenauigkeit %</th></tr></thead><tbody><tr><td>IQ2_XXS</td><td>164</td><td></td><td>43.6</td></tr><tr><td>TQ1_0</td><td>170</td><td>50.7</td><td></td></tr><tr><td>IQ1_M</td><td>206</td><td>55.7</td><td></td></tr><tr><td>IQ2_M</td><td>215</td><td></td><td>56.6</td></tr><tr><td>IQ2_XXS</td><td>225</td><td>61.2</td><td></td></tr><tr><td>IQ2_M</td><td>235</td><td>64.3</td><td></td></tr><tr><td>Q2_K_L</td><td>239</td><td></td><td>64.0</td></tr><tr><td>Q2_K_XL</td><td>255</td><td>65.8</td><td></td></tr><tr><td>IQ3_XXS</td><td>268</td><td>65.6</td><td>65.6</td></tr><tr><td>IQ3_XXS</td><td>279</td><td>66.8</td><td></td></tr><tr><td>Q3_K_S</td><td>293</td><td></td><td>65.2</td></tr><tr><td>Q3_K_XL</td><td>300</td><td>68.4</td><td></td></tr><tr><td>IQ4_XS</td><td>357</td><td>69.2</td><td></td></tr><tr><td>IQ4_XS</td><td>360</td><td></td><td>66.3</td></tr><tr><td>Q4_K_XL</td><td>387</td><td>69.7</td><td></td></tr><tr><td>Q4_K_M</td><td>405</td><td>69.7</td><td></td></tr><tr><td>Q4_K_M</td><td>409</td><td></td><td>67.7</td></tr><tr><td>Q5_K_M</td><td>478</td><td></td><td>68.9</td></tr><tr><td>Q5_K_XL</td><td>484</td><td>70.7</td><td></td></tr></tbody></table>

</details>

### :cake:Ablationen der dynamischen Quantisierung

Wir haben auch einige Ablationen durchgeführt, um zu bestätigen, ob unser Kalibrierungsdatensatz und unsere Methode der dynamischen Quantisierung tatsächlich funktionieren. Der Trick der dynamischen Methode von Unsloth besteht darin, **wichtige Schichten auf höhere Bits** zum Beispiel 8 Bit, zu quantisieren, während **unwichtige Schichten in niedrigeren Bits wie 2 Bit gelassen werden**.

Um unsere Methode zu testen, lassen wir bestimmte Tensoren in niedrigerer Präzision, z. B. 4 Bit, im Vergleich zu höherer Präzision. Unten lassen wir zum Beispiel `attn_k_b` Tensoren in 4 Bit (halb-dynamisch) statt 8 Bit (aktuelles Unsloth), und durch eine Erhöhung der Quant-Größe um nur etwa 100 MB oder so (<0,1 %) steigt die Genauigkeit dramatisch!

{% hint style="success" %}
`attn_k_b` und andere Tensoren in DeepSeek V3.1 sind äußerst wichtig / empfindlich gegenüber Quantisierung und sollten zur Wahrung der Genauigkeit in höherer Präzision gelassen werden!
{% endhint %}

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fgit-blob-3b4f8ac3af4ec8d09763c2e5f5d7de912d0b042e%2FSemi%20Dynamic.png?alt=media" alt=""><figcaption></figcaption></figure>

### :bug:Fehlerbehebungen für Chat-Templates

Während des Testens von DeepSeek-V3.1-Quants stellten wir fest, dass einige Quants mit niedriger Bitzahl nicht richtig einschlossen `<think> </think>` oder eine merkwürdige Formatierung verwendeten. Dadurch funktionierten einige Community-Quants auf niedrigen Bits nicht, und das führte zu unfairen Vergleichen. Wir fanden heraus, dass die Verwendung von minja durch llama.cpp (eine einfachere Version von jinja) kein Positionsargument in `.split`. akzeptiert. Wir mussten Folgendes ändern:

```
{%- set content = content.split("</think>", 1)[1] -%}
```

in das untenstehende:

```
{%- set splitted = content.split("</think>") -%}
{%- set content = splitted[1:] | join("</think>") -%}
```

Siehe [hier](https://huggingface.co/unsloth/DeepSeek-V3.1-GGUF?chat_template=default\&format=true) für unser festes Chat-Template oder [hier](https://huggingface.co/unsloth/DeepSeek-V3.1/raw/main/chat_template.jinja) für eine rohe Jinja-Datei.

### :bar\_chart:Pass-Rate 1

Aider wird hauptsächlich über Pass-Rate 2 berichtet. Wir geben auch Pass-Rate 1 an, um Community-Quants derselben Größe zu vergleichen. Wir sehen, dass unsere Dynamic Quants deutlich besser abschneiden als andere Community-Quants ähnlicher Größe, insbesondere bei weniger als 2 Bit und mehr als 4 Bit. 3- und 4-Bit schneiden ähnlich gut ab.

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fgit-blob-dfea83b4ef3e0d1a1c835476270eeb4f3f6db798%2FPass%20Rate%201%20Non%20Thinking.png?alt=media" alt=""><figcaption></figcaption></figure>

## :computer:Führe DeepSeek V3.1 Dynamic Quants aus

Gehe zu unserem [DeepSeek-V3.1-Leitfaden](https://unsloth.ai/docs/de/modelle/tutorials/deepseek-r1-how-to-run-locally/deepseek-r1-dynamic-1.58-bit.md) oder, um schnell die dynamische 2-Bit-Version zu erhalten, führe Folgendes aus:

```bash
apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \\
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-quantize llama-cli llama-gguf-split llama-mtmd-cli llama-server
cp llama.cpp/build/bin/llama-* llama.cpp
```

dann verwende `llama.cpp` um die Gewichte direkt herunterzuladen. Wir haben die optimal empfohlenen Parameter wie Temperatur, das Chat-Template usw. bereits ebenfalls festgelegt:

```bash
export LLAMA_CACHE="unsloth/DeepSeek-V3.1-GGUF"
./llama.cpp/llama-cli \\
    -hf unsloth/DeepSeek-V3.1-GGUF:Q2_K_XL \\
    --jinja \
    --n-gpu-layers 99 \\
    --temp 0.6 \
    --top-p 0.95 \\
    --min-p 0.01 \\
    --ctx-size 8192 \\
    --seed 3407 \\
    -ot ".ffn_.*_exps.=CPU"
```


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://unsloth.ai/docs/de/grundlagen/dynamic-3.0-ggufs/unsloth-dynamic-ggufs-on-aider-polyglot.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
