> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/modelle/inkling-2-mini.md).

# Inkling 2 Mini – Anleitung zur lokalen Ausführung

Erfahre, wie du Inkling 2 Mini von Thinking Machines Lab mit Unsloth und llama.cpp lokal ausführst.

**Inkling 2 Mini** ist Thinking Machines Labs **26,4B-MoE (5,4B aktiv)** Modell für Coding, agentische und **Vision-** Workloads. Es wurde unter Apache 2.0 veröffentlicht und basiert auf einer Looped-Transformers-Variante. Es bietet **1 Mio. Kontext** und erzielt **48,2 % bei DeepSWE v1.1** und **77,9 % bei SWEBench Pro v2 (Hard)**, womit es in seiner Größenklasse an der Spitze liegt und Qwen3.8-27B übertrifft. Bei Terminal Bench 4.0 liegt es mit Qwen3.8-27B gleichauf, mit **5.6%**.

{% columns %}
{% column %}
Diese Anleitung beschreibt, wie du Inkling 2 Mini auf einem Mac oder einem NVIDIA- oder AMD-Gerät mit Unsloth Desktop ausführst. Unsloth Desktop benötigt weniger Speicher und ermöglicht eine schnellere Inferenz für das Modell.

Ausführung mit 16 GB RAM oder **24 GB RAM** bei **voller Präzision**. GGUF: [**Inkling 2 Mini GGUF**](https://huggingface.co/unsloth/Inkling-2-Mini-GGUF)

<a href="https://unsloth.ai/docs/de/modelle/inkling-2-mini.md#run-inkling-2-mini-guide" class="button primary">Inkling 2: Ausführungsanleitung</a><a href="https://unsloth.ai/download" class="button secondary">Unsloth herunterladen</a>
{% endcolumn %}

{% column %}

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fbnhx2GlFHFh3fjMdbN26%2Fgta%20example.gif?alt=media&amp;token=6f9605aa-3c77-4796-a014-96214063f1b0" alt="" width="563"><figcaption><p>Beispiel für Inkling Mini in 4-Bit-Ausführung in Unsloth</p></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

### ⚙️ Bedienungsanleitung

#### Anforderungen für Inkling 2 Mini

**`UD-Q8_K_XL`** ist **volle Präzision**. Die empfohlene Quantisierung ist **`UD-Q4_K_XL` (17,6 GB).**

**Tabelle: Hardwareanforderungen** (RAM + VRAM oder gemeinsamer Speicher)

| 1-Bit | 2-Bit    | 3-Bit    | 4-Bit    | 8-Bit (verlustfrei) |
| ----- | -------- | -------- | -------- | ------------------- |
| 9 GB  | 10–11 GB | 13–15 GB | 17–18 GB | 24 GB               |

Alle GGUF-Größen und Ergebnisse findest du in der [Quantisierungsanalyse](#quantization-analysis) .

{% hint style="success" %}
Verwende diese Bereiche als Ausgangspunkt. Längere Kontexte, Bildeingaben und andere Apps können mehr Speicher benötigen. Der `mmproj-F16.gguf` Vision-Projektor erhöht die Downloadgröße um 639 MB.
{% endhint %}

#### Empfohlene Einstellungen

| Temperatur | Top-p | Top-k | Min-p |
| ---------- | ----- | ----- | ----- |
| `1.0`      | `1.0` | `0`   | `0.0` |

## Kurzanleitung: Inkling 2 Mini ausführen

Verwenden Sie einen Unsloth- oder llama.cpp-Build mit **Unterstützung für Looped Layers** und **NVFP4-Skalen pro Expert**. [Inkling 2 Mini-Modellkarte](https://huggingface.co/unsloth/Inkling-2-Mini-GGUF)

<a href="https://unsloth.ai/docs/de/modelle/inkling-2-mini.md#run-inkling-2-mini-in-unsloth-desktop" class="button primary">In Unsloth Desktop ausführen</a><a href="https://unsloth.ai/docs/de/modelle/inkling-2-mini.md#run-inkling-2-mini-in-llama-cpp" class="button secondary">In llama.cpp ausführen</a>

<div><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fc9F8coH46gJj7gxZEhRU%2Fsnow-fall.webp?alt=media&amp;token=2ede2108-5204-405d-9e6a-57d1a903c5f0" alt=""><figcaption></figcaption></figure> <figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FXRbHGqQn9DJR1prbs4w5%2Flighthouse.webp?alt=media&amp;token=e17bd9b1-d5d4-4659-b532-8373188e3811" alt=""><figcaption></figcaption></figure></div>

### 🦥 Inkling 2 Mini in Unsloth Desktop ausführen <a href="#run-inkling-2-mini-in-unsloth-desktop" id="run-inkling-2-mini-in-unsloth-desktop"></a>

{% stepper %}
{% step %}

#### Unsloth installieren

Laden Sie die [Unsloth-Desktop-App](https://unsloth.ai/docs/de/desktop.md) für macOS, Windows oder Linux herunter und starten Sie sie.

<a href="https://unsloth.ai/download" class="button primary" data-icon="down-to-bracket">Unsloth herunterladen</a>

* <i class="fa-apple">:apple:</i> [Für macOS herunterladen](https://unsloth.ai/download/mac)
* <i class="fa-windows">:windows:</i> [Für Windows herunterladen](https://unsloth.ai/download/windows)
* <i class="fa-linux">:linux:</i> [Für Linux herunterladen](https://unsloth.ai/download/linux)

Oder, wenn Sie lieber manuell installieren möchten:

{% tabs %}
{% tab title="Native-Installation" %}
**MacOS, Linux, WSL:**

```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```

**Windows:**

```powershell
irm https://unsloth.ai/install.ps1 | iex
```

{% endtab %}

{% tab title="Docker" %}
Das [Unsloth-Docker-Image](https://hub.docker.com/r/unsloth/unsloth) `unsloth/unsloth` ist auf Docker verfügbar. [Anleitung lesen.](https://unsloth.ai/docs/get-started/install/docker)
{% endtab %}

{% tab title="Homebrew" %}
Unsloth Desktop installieren:

{% code collapsedlinecount="10" %}

```bash
brew install --cask unsloth
```

{% endcode %}

Unsloth Desktop aktualisieren:

```bash
brew upgrade --cask unsloth
```

{% endtab %}

{% tab title="WinGet" %}
Unsloth Desktop installieren:

```powershell
winget install --id UnslothAI.Unsloth -e
```

Unsloth Desktop aktualisieren:

```powershell
winget upgrade --id UnslothAI.Unsloth -e
```

{% endtab %}
{% endtabs %}
{% endstep %}

{% step %}

#### Inkling 2 Mini suchen und herunterladen

Öffnen Sie in **Chat**die Option **Modell auswählen**oder wechseln Sie zu **Modell-Hub**. Suchen Sie nach **Inkling 2 Mini**, wählen Sie [**unsloth/Inkling-2-Mini-GGUF**](https://huggingface.co/unsloth/Inkling-2-Mini-GGUF) und laden Sie die Quantisierung herunter, die zu Ihrem Gerät passt. Sobald der Download abgeschlossen ist, wählen Sie das Modell in Chat aus und beginnen Sie eine Unterhaltung. Sie können auch eine kompatible Mini-GGUF-Datei aus Ihren lokalen Dateien laden.
{% endstep %}

{% step %}

#### Inkling 2 Mini mit der Unsloth API ausführen und bereitstellen

Dieses Beispiel verwendet die 4-Bit- `UD-Q4_K_XL` -Quantisierung (17.63 GB). Ändern Sie das Suffix nach dem Doppelpunkt, um eine andere Quantisierung aus dem Repository auszuwählen.

{% code overflow="wrap" %}

```bash
unsloth run --model unsloth/Inkling-2-Mini-GGUF:UD-Q4_K_XL \
    --temp 1.0 --top-p 1.0 --top-k 0 --min-p 0.0
```

{% endcode %}

Verwenden Sie die im Terminal ausgegebene Endpunkt-URL und den API-Schlüssel, um Ihren Client zu verbinden. [Unsloth-API-Anleitung](https://unsloth.ai/docs/de/grundlagen/api.md)
{% endstep %}
{% endstepper %}

### 🦙 Inkling 2 Mini in llama.cpp ausführen <a href="#run-inkling-2-mini-in-llama-cpp" id="run-inkling-2-mini-in-llama-cpp"></a>

{% stepper %}
{% step %}

#### llama.cpp installieren

Die GGUF-Dateien im Stammverzeichnis des Repositorys verwenden das Looped-Layer-Layout von Unsloth. Verwenden Sie daher unseren [b12588-mix-c0c3de8](https://github.com/unslothai/llama.cpp/releases/tag/b12588-mix-c0c3de8) -Build, der dieses Layout ebenso wie DSpark unterstützt. Das Upstream-llama.cpp verwendet ein anderes Layout: Für das Mainline-llama.cpp verwenden Sie die [Mainline\_Support](https://huggingface.co/unsloth/Inkling-2-Mini-GGUF/tree/main/Mainline_Support) -Dateien. Führen Sie diese Befehle in dem Ordner aus, in den Sie die GGUF-Datei herunterladen möchten. Jeder Befehl entpackt `llama-server` in ein `llama.cpp` Ordner, damit die nächsten Schritte unverändert funktionieren. [Vorgefertigte Downloads](https://github.com/unslothai/llama.cpp/releases/tag/b12588-mix-c0c3de8)

{% tabs %}
{% tab title="Apple" %}
{% code overflow="wrap" %}

```bash
curl -L -o llama.tar.gz https://github.com/unslothai/llama.cpp/releases/download/b12588-mix-c0c3de8/llama-b12588-mix-c0c3de8-bin-macos-arm64.tar.gz
mkdir -p llama.cpp
tar -xzf llama.tar.gz -C llama.cpp --strip-components=1
./llama.cpp/llama-server --version
```

{% endcode %}
{% endtab %}

{% tab title="NVIDIA" %}
**CUDA 12** Build für die meisten NVIDIA-GPUs: RTX-20- bis RTX-50-Serie, V100, T4, A100, H100 und B200. Installiere zuerst das [CUDA-Toolkit](https://developer.nvidia.com/cuda-downloads)  . Verwende mit CUDA 13 stattdessen `cuda12-portable`   `cuda13-portable`. Für die GTX-10-Serie und ältere Modelle verwende `cuda12-legacy`.

{% code overflow="wrap" %}

```bash
curl -L -o llama.tar.gz https://github.com/unslothai/llama.cpp/releases/download/b12588-mix-c0c3de8/app-b12588-mix-c0c3de8-linux-x64-cuda12-portable.tar.gz
mkdir -p llama.cpp
tar -xzf llama.tar.gz -C llama.cpp
./llama.cpp/llama-server --version
```

{% endcode %}
{% endtab %}

{% tab title="AMD" %}
**ROCm** Build für Radeon RX 9000 (`gfx120X`). Die ROCm-Bibliotheken sind enthalten, daher ist keine vollständige ROCm-Installation erforderlich. Verwende für andere GPUs stattdessen `gfx120X`   `gfx1151` (Ryzen AI Max), `gfx1150` (Ryzen AI 300), `gfx110X` (RX 7000), `gfx103X` (RX 6000), `gfx90a` (MI200) oder `gfx908` (MI100). Für alle anderen AMD-GPUs verwende den `vulkan` Build.

{% code overflow="wrap" %}

```bash
curl -L -o llama.tar.gz https://github.com/unslothai/llama.cpp/releases/download/b12588-mix-c0c3de8/app-b12588-mix-c0c3de8-linux-x64-rocm-gfx120X.tar.gz
mkdir -p llama.cpp
tar -xzf llama.tar.gz -C llama.cpp
./llama.cpp/llama-server --version
```

{% endcode %}
{% endtab %}

{% tab title="Windows" %}
**CUDA 12** Build für NVIDIA-GPUs. Installiere zuerst das [CUDA-Toolkit](https://developer.nvidia.com/cuda-downloads) und führe dann diese Befehle in PowerShell aus. Verwende mit CUDA 13 stattdessen `cuda12-portable`   `cuda13-portable`. Für AMD verwende stattdessen `rocm-gfx120X` oder den Build für deine GPU aus dem AMD-Tab. Verwende `vulkan` für andere GPUs oder `cpu` nur für die CPU.

{% code overflow="wrap" %}

```powershell
curl.exe -L -o llama.zip https://github.com/unslothai/llama.cpp/releases/download/b12588-mix-c0c3de8/app-b12588-mix-c0c3de8-windows-x64-cuda12-portable.zip
Expand-Archive llama.zip -DestinationPath llama.cpp
.\llama.cpp\llama-server.exe --version
```

{% endcode %}
{% endtab %}

{% tab title="DGX Spark" %}
{% code overflow="wrap" %}

```bash
curl -L -o llama.tar.gz https://github.com/unslothai/llama.cpp/releases/download/b12588-mix-c0c3de8/app-b12588-mix-c0c3de8-linux-arm64-cuda13-portable.tar.gz
mkdir -p llama.cpp
tar -xzf llama.tar.gz -C llama.cpp
./llama.cpp/llama-server --version
```

{% endcode %}
{% endtab %}
{% endtabs %}

Wähle für Intel-Macs, nur CPU, Vulkan oder Linux ARM64 die passende Datei auf der [Release-Seite](https://github.com/unslothai/llama.cpp/releases/tag/b12588-mix-c0c3de8). Bewahre `llama-server` und die dazugehörigen Bibliotheken gemeinsam in `llama.cpp`.
{% endstep %}

{% step %}

#### GGUF herunterladen

Die 4-Bit-Datei `UD-Q4_K_XL` GGUF, den F16-Vision-Projektor und den Q8\_0-DSpark-Drafter herunterladen. Für eine andere Quantisierung verwende den entsprechenden Dateinamen aus dem Repository. [GGUF-Dateien](https://huggingface.co/unsloth/Inkling-2-Mini-GGUF/tree/main)

{% code overflow="wrap" collapsedlinecount="10" %}

```bash
pip install -U huggingface_hub
hf download unsloth/Inkling-2-Mini-GGUF \
    Inkling-2-Mini-UD-Q4_K_XL.gguf mmproj-F16.gguf dspark-Inkling-2-Mini-Q8_0.gguf \
    --local-dir Inkling-2-Mini-GGUF
```

{% endcode %}
{% endstep %}

{% step %}

#### Inkling 2 Mini ausführen

Starte den lokalen Chatserver mit der vorkompilierten Binärdatei.

{% tabs %}
{% tab title="macOS, Linux oder WSL" %}
{% code overflow="wrap" collapsedlinecount="10" %}

```bash
./llama.cpp/llama-server \
    --model Inkling-2-Mini-GGUF/Inkling-2-Mini-UD-Q4_K_XL.gguf \
    --mmproj Inkling-2-Mini-GGUF/mmproj-F16.gguf \
    --model-draft Inkling-2-Mini-GGUF/dspark-Inkling-2-Mini-Q8_0.gguf \
    --spec-type draft-dspark --spec-draft-n-max 3 --n-gpu-layers-draft 99 \
    --temp 1.0 --top-p 1.0 --top-k 0 --min-p 0.0 \
    --host 127.0.0.1 --port 8080
```

{% endcode %}
{% endtab %}

{% tab title="Windows PowerShell" %}
{% code overflow="wrap" collapsedlinecount="10" %}

```powershell
.\llama.cpp\llama-server.exe `
    --model Inkling-2-Mini-GGUF/Inkling-2-Mini-UD-Q4_K_XL.gguf `
    --mmproj Inkling-2-Mini-GGUF/mmproj-F16.gguf `
    --model-draft Inkling-2-Mini-GGUF/dspark-Inkling-2-Mini-Q8_0.gguf `
    --spec-type draft-dspark --spec-draft-n-max 3 --n-gpu-layers-draft 99 `
    --temp 1.0 --top-p 1.0 --top-k 0 --min-p 0.0 `
    --host 127.0.0.1 --port 8080
```

{% endcode %}
{% endtab %}
{% endtabs %}

Öffne <http://127.0.0.1:8080> zum Chatten oder zum Hochladen eines Bildes. Die Flags `--model-draft` und `--spec-type draft-dspark` aktivieren die spekulative DSpark-Decodierung mit dem 0,4-GB-Drafter. Mit `--spec-draft-n-max 3` ist ein guter Standardwert. Um ohne sie auszuführen, lassen Sie den Drafter beim Download weg und entfernen Sie die `--model-draft` und `--spec-type` Zeilen aus dem Serverbefehl. Für reinen Text-Chat lassen Sie den Projektor beim Download weg und entfernen Sie `--mmproj` aus dem Serverbefehl. Wenn der Arbeitsspeicher begrenzt ist, verringern Sie `--ctx-size` oder `--n-gpu-layers`. Für reine CPU-Inferenz setzen Sie `--n-gpu-layers 0` und `--n-gpu-layers-draft 0`.
{% endstep %}
{% endstepper %}

### :play\_pause:Transformatorarchitektur mit Schleifen

Inkling-2-Mini verwendet eine modifizierte Transformatorarchitektur mit Schleifen, bei der die Layer 6–17 dreimal durchlaufen werden. In Kombination mit den Embeddings werden dabei nur 5,4B aktiviert. Das unterscheidet sich von anderen LLM-Architekturen, bei denen jeder Decoder-Layer nur einmal durchlaufen wird: Inkling-2-Mini führt die Layer 6 bis 17 im Wesentlichen dreimal aus und komprimiert so während des Trainings den Speicherplatzbedarf und den Footprint.

Es wird **gemunkelt** dass die Modelle der GPT-6-Astra-Klasse möglicherweise ebenfalls eine Variante der Transformatorarchitektur mit Schleifen verwenden. Inkling-2-Mini ist eines der ersten leistungsstarken offenen Modelle, das eine Variante dieses Mechanismus nutzt.

### 📊 Quantisierungsanalyse <a href="#quantization-analysis" id="quantization-analysis"></a>

Wir vergleichen jedes GGUF mit `UD-Q8_K_XL` in sieben Bereichen und verwenden dabei identische llama.cpp-Einstellungen. Die Referenz behält die ursprünglichen NVFP4-Expertengewichte bei und speichert die übrigen Gewichte in BF16. UD-Q4\_K\_XL ist mit auf Q8\_0 dequantisierten MXFP8-Gewichten ebenfalls nahezu verlustfrei. UD-Q8\_K\_XL hebt MXFP8 auf BF16 an, sodass KLD = 0 gilt.

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FqWPOI9paCJed36b9qV1x%2Fsize_vs_top1(7).png?alt=media&amp;token=186fd174-4199-4d66-949e-fc851aa614ef" alt="" width="563"><figcaption></figcaption></figure>

Die 4-Bit-Quantisierung `UD-Q4_K_XL` erzielt **eine mittlere KLD von 0,0107** und **eine Übereinstimmung beim Top-Token von 98,0 %** bei einer Größe von **17,63 GB**. Die 2-Bit-Quantisierung `UD-IQ2_XXS` verringert die Downloadgröße auf **8,49 GB** bei einer Übereinstimmung von **90,6 %**.

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FObpB27Pzg7eddzGOefoK%2Fsize_vs_kld(4).png?alt=media&amp;token=b388d982-caaa-402f-bc8f-f49938036713" alt="" width="563"><figcaption></figcaption></figure>

| Quantisierung | Größe (GB) | Mittlere KLD gegenüber UD-Q8\_K\_XL | Gleiches Top-Token |
| ------------- | ---------- | ----------------------------------- | ------------------ |
| UD-IQ1\_S     | 7.76       | 0.0911                              | 89.4%              |
| UD-IQ1\_M     | 8.02       | 0.0867                              | 90.2%              |
| UD-IQ2\_XXS   | 8.49       | 0.0726                              | 90.6%              |
| UD-Q2\_K\_XL  | 9.14       | 0.0595                              | 91.6%              |
| UD-IQ3\_XXS   | 11.66      | 0.0269                              | 94.7%              |
| UD-Q3\_K\_XL  | 13.63      | 0.0174                              | 96.3%              |
| UD-IQ4\_XS    | 15.73      | 0.0109                              | 97.7%              |
| UD-Q4\_K\_M   | 16.61      | 0.0108                              | 97.9%              |
| UD-Q4\_K\_XL  | 17.63      | 0.0107                              | 98.0%              |
| UD-Q8\_K\_XL  | 22.87      | Referenz                            |                    |

### 📊 Benchmarks

In den Evaluierungen von Thinking Machines Lab liegt Mini bei den unten aufgeführten Benchmarks für Softwareentwicklung und Suche vor den drei ähnlich großen Modellen. Mini erzielt **bei DeepSWE v1.1 einen um 6,0 Prozentpunkte höheren Wert als Qwen3.8-27B** und **bei SWEBench Pro v2 (Hard) einen um 4,1 Punkte höheren Wert**.

<details>

<summary>Klicken, um die vollständige Benchmark-Tabelle anzuzeigen</summary>

| Benchmark                              | Inkling 2 Mini   | Gemma 4 31B  | Muse Glimmer | Qwen3.8-27B  | Nemotron 3.5 Super VL |
| -------------------------------------- | ---------------- | ------------ | ------------ | ------------ | --------------------- |
| Parameter (aktiv / gesamt, Mrd.)       | 5 / 26           | 31 / 31      | 30 / 30      | 27 / 27      | 12 / 125              |
| SWE-bench Verified                     | **79.2%**        | 46.1%        | 76.0%        | 77.8%        | 71.1%                 |
| DeepSWE v1.1                           | **48.2%**        | 0.3%         | 4.4%         | 42.2%        | 24.7%                 |
| Terminal Bench v4.0                    | **5.6%**         | 0.0%         | 0.5%         | **5.6%**     | 0.0%                  |
| AA Index v5.0                          | **20.1**         | 4.4          | 6.3          | **20.1**     | 13.6                  |
| Vals Index v2.2                        | **46.5%**        | –            | –            | –            | 29.8%                 |
| SWE-bench Pro (Hard)                   | **77.9%**        | 14.2%        | 44.3%        | 73.8%        | 44.1%                 |
| Terminal Bench v2.1                    | 71.6%            | 43.4%        | 51.7%        | **73.0%**    | 60.7%                 |
| BrowseComp                             | **79.0%**        | 37.0%        | 63.9%        | 61.6%        | 78.9%                 |
| DeepSearchQA                           | **85.3%**        | 61.7%        | 74.6%        | 79.7%        | 77.7%                 |
| GDPVal-AA v2.1                         | 1319             | 627          | 792          | **1427**     | 1162                  |
| AutomationBench-AA                     | 41.8%            | 4.9%         | 6.8%         | **48.2%**    | 14.8%                 |
| JobBench                               | **49.6%**        | 8.2%         | 16.1%        | 33.4%        | 36.5%                 |
| MMMU Pro                               | 74.9%            | 73.4%        | 74.3%        | **76.3%**    | 72.3%                 |
| OmniDocBench v1.6                      | **92.8%**        | 82.5%        | 90.4%        | 91.5%        | 77.9%                 |
| ScreenSpot Pro (Original / Python)     | **76.5 / 87.7%** | 5.9 / –      | 75.4 / –     | 57.6 / 78.9% | 43.5 / –              |
| Chartography (Original / Python)       | **22.1 / 72.5%** | 12.0 / 11.8% | 17.4 / 25.1% | 12.2 / 52.1% | 9.7 / 29.3%           |
| HLE-Diamond                            | 15.2%            | 7.2%         | 9.1%         | **15.3%**    | 8.8%                  |
| ARC-AGI (v1 / v2)                      | **84.5 / 49.3%** | –            | –            | 87.5 / 42.4% | 22.7 / 1.5%           |
| LongBench v2                           | **66.9%**        | 52.9%        | 33.1%        | 52.3%        | 62.1%                 |
| AA-Omniscience (Punktzahl)             | -8.6             | -48.5        | -32.2        | -6.4         | **-2.9**              |
| AA-Omniscience (keine Halluzinationen) | 63.4%            | 14.5%        | 16.4%        | **71.4%**    | 69.5%                 |
| FORTRESS (adversarial)                 | 89.5%            | 67.8%        | **90.3%**    | 78.8%        | 79.6%                 |
| FORTRESS (harmlos)                     | 96.4%            | 97.6%        | 89.1%        | **97.8%**    | 92.7%                 |
| StrongREJECT                           | 97.8%            | 98.1%        | 99.0%        | 99.0%        | **99.4%**             |

</details>


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://unsloth.ai/docs/de/modelle/inkling-2-mini.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
