> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/modelle/flint.md).

# Flint: Leitfaden zum lokalen Ausführen

Führen Sie Recursive Flint lokal mit Unsloth Dynamic GGUFs, Unsloth Desktop und llama.cpp aus.

Recursive Flint ist ein **39,8B-Parameter-MoE (2,5B aktiv)**, mit Reasoning, mehrstufiger Tool-Nutzung und **256K Kontext**. Flint wird unter Apache-2.0 veröffentlicht und ist das **stärkste MoE-Modell** unter 50B Parametern auf agentischen Coding-Benchmarks. Lokal ausführen in [Unsloth Desktop](https://unsloth.ai/docs/de/desktop.md) oder llama.cpp mit Unsloths 3-Bit-GGUFs auf 24 GB RAM. Du kannst 125+ Token/Sek. auf einem M4 Pro MacBook Pro und 150+ auf einem 64-GB-NVIDIA RTX Spark erreichen.

Unser **3-Bit UD-Q3\_K\_XL GGUF** ist 18,50 GB groß und passt **in Setups mit 24 GB RAM** bei kurzen Kontexten. Das vollständige BF16-GGUF ist 79,58 GB, während UD-Q4\_K\_XL 25,05 GB groß ist. GGUFs: [unsloth/flint-GGUF](https://huggingface.co/unsloth/flint-GGUF)

#### ⚙️ Nutzungsleitfaden

**Tabelle: Hardware-Anforderungen** (RAM + VRAM oder Unified Memory).

| 2-Bit    | 3-Bit    | 4-Bit | 6-Bit | 8-Bit |
| -------- | -------- | ----- | ----- | ----- |
| 13–15 GB | 16–20 GB | 26 GB | 38 GB | 44 GB |

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FGXYEQqEXseTna162HHNa%2Fflint%20pic.webp?alt=media&amp;token=bcddff05-8e5d-4026-a05e-02cab135af2e" alt="" width="563"><figcaption><p>Flint läuft innerhalb von Unsloth.</p></figcaption></figure>

#### Empfohlene Einstellungen

[Recursive empfiehlt](https://huggingface.co/RecursiveSI/flint) die folgenden Sampling-Einstellungen:

| Parameter         | Einstellung                       |
| ----------------- | --------------------------------- |
| Temperatur        | 1.0                               |
| Top-p             | 0.95                              |
| Top-k             | 20                                |
| Maximaler Kontext | 262.144 Tokens (Prompt + Ausgabe) |

**Chat-Template:** Verwende das mit dem GGUF gebündelte Template. Bei benutzerdefinierten Multi-Turn-Clients behalte die zurückgegebenen `reasoning_content` und Tool-Call-Nachrichten im Gesprächsverlauf bei, wie in der Model Card beschrieben.

### Flint-Leitfaden ausführen

Wir verwenden **UD-Q4\_K\_XL (25,05 GB)**. Wenn der Speicher begrenzt ist, wähle **UD-Q3\_K\_XL (18,5 GB)** stattdessen.

Du kannst außerdem die offizielle [Anleitung von Recursive für Flint hier lesen](#usage-guide).

#### 🦥 Flint in Unsloth Desktop ausführen

Flint ausführen in [Unsloth Desktop](https://unsloth.ai/docs/desktop) auf **macOS, Windows und Linux**.

{% stepper %}
{% step %}

#### Unsloth installieren

Lade die neueste [Unsloth-Desktop-App](https://unsloth.ai/download) für dein Gerät herunter und starte sie:

* [Für macOS herunterladen](https://unsloth.ai/download/mac)
* [Für Windows herunterladen](https://unsloth.ai/download/windows)
* [Für Linux herunterladen](https://unsloth.ai/download/linux)

Für die manuelle Installation auf macOS, Linux oder WSL:

```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```

Für Windows PowerShell:

```powershell
irm https://unsloth.ai/install.ps1 | iex
```

{% endstep %}

{% step %}

#### Flint herunterladen und ausführen

1. Öffnen **Modell-Hub** oder das **Modell auswählen** Dropdown-Menü in Chat.
2. Suche nach `unsloth/flint-GGUF`, wähle das Unsloth-Repository aus und lade `UD-Q4_K_XL` oder eine kleinere Quantisierung herunter.

Flint akzeptiert **Texteingaben**. Siehe unseren [Unsloth-Chat-Leitfaden](https://unsloth.ai/docs/new/studio/chat) für Modelllade- und Inferenz-Einstellungen.

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FGXYEQqEXseTna162HHNa%2Fflint%20pic.webp?alt=media&amp;token=bcddff05-8e5d-4026-a05e-02cab135af2e" alt="" width="375"><figcaption></figcaption></figure>
{% endstep %}

{% step %}

#### Einen Coding-Agenten verbinden

Nachdem du Unsloth und deinen bevorzugten Agenten installiert hast, führe dies aus deinem Projektordner aus:

```bash
unsloth start claude \
    --model unsloth/flint-GGUF:UD-Q4_K_XL \
    --temp 1.0 --top-p 0.95 --top-k 20 --min-p 0.0
```

Dies verwendet einen größeren Kontext für Coding-Aufgaben und benötigt mehr Speicher als das 8K-Beispiel. Du kannst `claude` durch einen anderen unterstützten Agenten ersetzen, z. B. `opencode`. Siehe [Unsloth Start](https://unsloth.ai/docs/integrations/unsloth-start) für Einrichtung und unterstützte Integrationen.
{% endstep %}

{% step %}

#### Flint mit der Unsloth-API bereitstellen

Verwende `unsloth run` um die Quantisierung zu laden und sie lokal bereitzustellen. Der `:UD-Q4_K_XL` Suffix wählt die Quantisierung aus:

```bash
unsloth run --model unsloth/flint-GGUF:UD-Q4_K_XL \
    --parallel 1 --alias flint \
    --temp 1.0 --top-p 0.95 --top-k 20 --min-p 0.0 \
    --host 127.0.0.1 --port 8001
```

Verwende den von Unsloth angezeigten Endpunkt und die Authentifizierungsdetails. Für den Desktop-API-Zugriff erstelle einen Schlüssel in **Einstellungen → API** und folge unserem [API-Leitfaden](https://unsloth.ai/docs/basics/api) um deinen Client zu verbinden.
{% endstep %}
{% endstepper %}

### 📊 Quantisierungsanalyse

Die folgenden Benchmarks aus dem [Flint-GGUF-README](https://huggingface.co/unsloth/flint-GGUF) vergleichen die Quantisierungsqualität mit der Modellgröße. **Niedrigere KLD ist besser; höhere Top-1-Genauigkeit ist besser.** Diese messen, wie genau jede Quantisierung dem Referenzmodell entspricht. Lies mehr über [Unsloth Dynamic 3.0 GGUFs](https://unsloth.ai/docs/basics/unsloth-dynamic-v3.0-gguf).

<div><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FR3k6FK1PyIJuU7qBx6h8%2Fsize_vs_top1(3).png?alt=media&amp;token=1ffcb4fc-696f-4fec-92a8-68b2c160246b" alt="" width="563"><figcaption></figcaption></figure> <figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FtU9zTQiXR66yrHnGX19y%2Fsize_vs_kld(3).png?alt=media&amp;token=0d18a630-93d4-448f-b00b-df41000d61de" alt="" width="563"><figcaption></figcaption></figure></div>

### 🦙 Flint in llama.cpp ausführen

{% stepper %}
{% step %}

#### llama.cpp bauen

Verwende die [neueste llama.cpp-Version](https://github.com/ggml-org/llama.cpp) mit Flint-Unterstützung. Die folgenden Befehle verwenden eine macOS/Linux/WSL-Shell. Installiere zuerst Git, CMake und einen C++-Compiler. Für NVIDIA installiere außerdem das CUDA Toolkit.

```bash
apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone --branch iq1-narrow https://github.com/unslothai/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp
```

**Apple Silicon:** ersetze `-DGGML_CUDA=ON` mit `-DGGML_CUDA=OFF`; Metal ist standardmäßig aktiviert. Für reine CPU-Builds setze außerdem `-DGGML_METAL=OFF` unter macOS. Siehe die [Build-Anleitung](https://github.com/ggml-org/llama.cpp/blob/master/docs/build.md) für andere Plattformen.
{% endstep %}

{% step %}

#### Lade das Unsloth-GGUF herunter

Lade im selben Arbeitsverzeichnis genau die 4-Bit-Datei herunter:

```bash
python3 -m venv .venv
source .venv/bin/activate
pip install -U huggingface_hub
hf download unsloth/flint-GGUF \
    flint-UD-Q4_K_XL.gguf \
    --local-dir models/flint
```

Für das kleinere 2-Bit-Modell ersetze den Dateinamen durch `flint-UD-IQ2_XXS.gguf` sowohl im Download- als auch im Ausführungsbefehl. Wenn du BF16 wählst, lade alle drei Shards in denselben Ordner herunter und verweise zur Laufzeit auf den ersten Shard.
{% endstep %}

{% step %}

#### Mit Flint chatten

```bash
./llama.cpp/llama-cli \
    --model models/flint/flint-UD-Q4_K_XL.gguf \
    --ctx-size 8192 --n-gpu-layers 99 \
    --temp 1.0 --top-p 0.95 --top-k 20 --min-p 0.0 \
    --prompt "Write a Python function that merges overlapping intervals and include tests."
```

`--jinja` verwendet das Chat-Template des Modells. Verringere `--n-gpu-layers` wenn der VRAM begrenzt ist, oder setze es auf `0` für CPU-Inferenz. Behalte genügend System-RAM für ausgelagerte Layer.
{% endstep %}
{% endstepper %}

### Benchmarks

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fvx89npzlDGi6Mq3sWqmJ%2Fflint_benchmarks_nvfp4.png?alt=media&amp;token=759b8b48-8c15-4ca9-a1a5-3d3aab34a522" alt=""><figcaption></figcaption></figure>

| Modell        | Terminal-Bench 2.1 | SWE-bench Pro v2† | SWE-bench Verified | LiveCodeBench v6 | IFBench | IFEval |
| ------------- | ------------------ | ----------------- | ------------------ | ---------------- | ------- | ------ |
| Flint BF16    | 54.9               | 89.7              | 74.2               | 80.3             | 89.2    | 95.1   |
| Flint NVFP4   | 53.7               | 88.5              | 74.1               | 80.8             | 88.1    | 94.6   |
| Qwen 3.5      | 38.7               | 68.6              | 69.2               | 74.6             | 70.2    | 91.9   |
| Qwen 3.6      | 44.9               | 73.8              | 73.4               | 80.4             | 67.9    | 89.6   |
| Laguna XS 2.1 | 24.7†              | 38.6              | 70.9               | 49.5†            | 34.4†   | 73.7†  |
| Qwen 3.8      | 73.0               | 94.9              | 75.6†              | 90.3             | 79.5    | 94.6†  |
| Muse Glimmer  | 51.7               | 86.0              | 76.0               | 63.5†            | 77.0    | 94.7†  |
| Gemma 4       | 43.4               | 61.7              | 66.6               | 80.0             | 76.0    | 94.6   |

Anmerkungen zur Grafik:

* † = intern gemessen (wie in der Originalgrafik markiert).
* Flint BF16: 40B Gesamtparameter, etwa 2B aktiv.
* Flint NVFP4: Quantisierter Flint-Checkpoint.
* Qwen 3.5, Qwen 3.6, Laguna XS 2.1: Sparse-MoE-Kategorie (33–35B gesamt, 3B aktiv).
* Qwen 3.8, Muse Glimmer, Gemma 4: Dense-Kategorie (27–31B).
* Alle Benchmark-Panels verwenden eine Skala mit Nullpunkt bei 0.


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://unsloth.ai/docs/de/modelle/flint.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
