> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/fr/modeles/flint.md).

# Flint : guide d’exécution en local

Exécutez Recursive Flint localement avec les GGUF dynamiques d’Unsloth, Unsloth Desktop et llama.cpp.

Recursive Flint est un **un MoE de 39,8 milliards de paramètres (2,5 milliards actifs)**, avec raisonnement, utilisation d’outils en plusieurs tours et **contexte de 256K**. Flint est publié sous Apache-2.0 et est le **modèle MoE le plus performant** avec moins de 50 milliards de paramètres sur les benchmarks de codage agentique. Exécutez-le localement dans [Unsloth Desktop](https://unsloth.ai/docs/fr/desktop.md) ou llama.cpp avec les GGUF 3 bits d’Unsloth sur 24 Go de RAM. Vous pouvez atteindre plus de 125 jetons/s sur un MacBook Pro M4 Pro et plus de 150 sur un NVIDIA RTX Spark de 64 Go.

Nos **GGUF UD-Q3\_K\_XL 3 bits** font 18,50 Go et tiennent dans **des configurations de 24 Go de RAM** avec des contextes courts. Le GGUF BF16 complet fait 79,58 Go, tandis que le UD-Q4\_K\_XL fait 25,05 Go. GGUF : [unsloth/flint-GGUF](https://huggingface.co/unsloth/flint-GGUF)

#### ⚙️ Guide d’utilisation

**Tableau : exigences matérielles** (RAM + VRAM, ou mémoire unifiée).

| 2 bits   | 3 bits   | 4 bits | 6 bits | 8 bits |
| -------- | -------- | ------ | ------ | ------ |
| 13–15 Go | 16–20 Go | 26 Go  | 38 Go  | 44 Go  |

<figure><img src="https://550366147-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FGXYEQqEXseTna162HHNa%2Fflint%20pic.webp?alt=media&amp;token=bcddff05-8e5d-4026-a05e-02cab135af2e" alt="" width="563"><figcaption><p>Flint exécuté dans Unsloth.</p></figcaption></figure>

#### Paramètres recommandés

[Recursive recommande](https://huggingface.co/RecursiveSI/flint) les paramètres d’échantillonnage suivants :

| Paramètre        | Réglage                          |
| ---------------- | -------------------------------- |
| Température      | 1.0                              |
| Top-p            | 0.95                             |
| Top-k            | 20                               |
| Contexte maximal | 262 144 jetons (prompt + sortie) |

**Modèle de chat :** Utilisez le modèle fourni avec le GGUF. Pour les clients multi-tours personnalisés, conservez les messages retournés `reasoning_content` et les messages d’appel d’outils dans l’historique de la conversation, comme décrit dans la fiche du modèle.

### Lancer le guide Flint

Nous utiliserons **UD-Q4\_K\_XL (25,05 Go)**. Si la mémoire est limitée, sélectionnez **UD-Q3\_K\_XL (18,5 Go)** à la place.

Vous pouvez aussi consulter le [guide officiel de Recursive pour Flint ici](#usage-guide).

#### 🦥 Exécuter Flint dans Unsloth Desktop

Exécutez Flint dans [Unsloth Desktop](https://unsloth.ai/docs/desktop) sur **macOS, Windows et Linux**.

{% stepper %}
{% step %}

#### Installer Unsloth

Téléchargez et lancez la dernière [application Unsloth Desktop](https://unsloth.ai/download) pour votre appareil :

* [Télécharger pour macOS](https://unsloth.ai/download/mac)
* [Télécharger pour Windows](https://unsloth.ai/download/windows)
* [Télécharger pour Linux](https://unsloth.ai/download/linux)

Pour une installation manuelle sur macOS, Linux ou WSL :

```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```

Pour PowerShell Windows :

```powershell
irm https://unsloth.ai/install.ps1 | iex
```

{% endstep %}

{% step %}

#### Télécharger et exécuter Flint

1. Ouvrez **le hub des modèles** ou le **Sélectionner le modèle** menu déroulant dans le chat.
2. Recherchez `unsloth/flint-GGUF`sélectionnez le dépôt Unsloth et téléchargez `UD-Q4_K_XL` ou une quantification plus petite.

Flint accepte **une saisie textuelle**. Consultez notre [guide Unsloth Chat](https://unsloth.ai/docs/new/studio/chat) pour le chargement du modèle et les paramètres d’inférence.

<figure><img src="https://550366147-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FGXYEQqEXseTna162HHNa%2Fflint%20pic.webp?alt=media&amp;token=bcddff05-8e5d-4026-a05e-02cab135af2e" alt="" width="375"><figcaption></figcaption></figure>
{% endstep %}

{% step %}

#### Connecter un agent de codage

Après avoir installé Unsloth et votre agent préféré, exécutez ceci depuis le dossier de votre projet :

```bash
unsloth start claude \\
    --model unsloth/flint-GGUF:UD-Q4_K_XL \\
    --temp 1.0 --top-p 0.95 --top-k 20 --min-p 0.0
```

Cela utilise un contexte plus large pour les tâches de codage et nécessite plus de mémoire que l’exemple 8K. Vous pouvez remplacer `claude` par un autre agent pris en charge, comme `opencode`. Voir [Unsloth Start](https://unsloth.ai/docs/integrations/unsloth-start) pour la configuration et les intégrations prises en charge.
{% endstep %}

{% step %}

#### Servir Flint avec l’API Unsloth

Utilisez `unsloth run` pour charger la quantification et la servir localement. Le `:UD-Q4_K_XL` suffixe choisit la quantification :

```bash
unsloth run --model unsloth/flint-GGUF:UD-Q4_K_XL \\
    --parallel 1 --alias flint \\
    --temp 1.0 --top-p 0.95 --top-k 20 --min-p 0.0 \\
    --host 127.0.0.1 --port 8001
```

Utilisez le point de terminaison et les détails d’authentification affichés par Unsloth. Pour l’accès à l’API Desktop, créez une clé dans **Paramètres → API** et suivez notre [guide API](https://unsloth.ai/docs/basics/api) pour connecter votre client.
{% endstep %}
{% endstepper %}

### 📊 Analyse de la quantification

Les benchmarks ci-dessous issus du [README GGUF de Flint](https://huggingface.co/unsloth/flint-GGUF) comparent la qualité de quantification à la taille du modèle. **Une KLD plus faible est meilleure ; une précision top-1 plus élevée est meilleure.** Ils mesurent à quel point chaque quantification correspond au modèle de référence. En savoir plus sur [les GGUF dynamiques 3.0 d’Unsloth](https://unsloth.ai/docs/basics/unsloth-dynamic-v3.0-gguf).

<div><figure><img src="https://550366147-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FR3k6FK1PyIJuU7qBx6h8%2Fsize_vs_top1(3).png?alt=media&amp;token=1ffcb4fc-696f-4fec-92a8-68b2c160246b" alt="" width="563"><figcaption></figcaption></figure> <figure><img src="https://550366147-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FtU9zTQiXR66yrHnGX19y%2Fsize_vs_kld(3).png?alt=media&amp;token=0d18a630-93d4-448f-b00b-df41000d61de" alt="" width="563"><figcaption></figcaption></figure></div>

### 🦙 Exécuter Flint dans llama.cpp

{% stepper %}
{% step %}

#### Compiler llama.cpp

Utilisez [la dernière version de llama.cpp](https://github.com/ggml-org/llama.cpp) avec la prise en charge de Flint. Les commandes ci-dessous utilisent un shell macOS/Linux/WSL. Installez d’abord Git, CMake et un compilateur C++. Pour NVIDIA, installez également le kit d’outils CUDA.

```bash
apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone --branch iq1-narrow https://github.com/unslothai/llama.cpp
cmake llama.cpp -B llama.cpp/build \\
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp
```

**Apple Silicon :** remplacez `-DGGML_CUDA=ON` par `-DGGML_CUDA=OFF`; Metal est activé par défaut. Pour les compilations uniquement CPU, définissez aussi `-DGGML_METAL=OFF` sur macOS. Voir les [instructions de compilation](https://github.com/ggml-org/llama.cpp/blob/master/docs/build.md) pour les autres plateformes.
{% endstep %}

{% step %}

#### Téléchargez le GGUF Unsloth

Depuis le même répertoire de travail, téléchargez le fichier 4 bits exact :

```bash
python3 -m venv .venv
source .venv/bin/activate
pip install -U huggingface_hub
hf download unsloth/flint-GGUF \\
    flint-UD-Q4_K_XL.gguf \\
    --local-dir models/flint
```

Pour le modèle 2 bits plus petit, remplacez le nom de fichier par `flint-UD-IQ2_XXS.gguf` dans les commandes de téléchargement et d’exécution. Si vous choisissez BF16, téléchargez les trois fragments dans le même dossier et pointez l’environnement d’exécution vers le premier fragment.
{% endstep %}

{% step %}

#### Discuter avec Flint

```bash
./llama.cpp/llama-cli \\
    --model models/flint/flint-UD-Q4_K_XL.gguf \\
    --ctx-size 8192 --n-gpu-layers 99 \\
    --temp 1.0 --top-p 0.95 --top-k 20 --min-p 0.0 \\
    --prompt "Write a Python function that merges overlapping intervals and include tests."
```

`--jinja` utilise le modèle de chat du modèle. Réduisez `--n-gpu-layers` si la VRAM est limitée, ou définissez-le à `0` pour l’inférence CPU. Conservez suffisamment de RAM système pour les couches déchargées.
{% endstep %}
{% endstepper %}

### Benchmarks

<figure><img src="https://550366147-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fvx89npzlDGi6Mq3sWqmJ%2Fflint_benchmarks_nvfp4.png?alt=media&amp;token=759b8b48-8c15-4ca9-a1a5-3d3aab34a522" alt=""><figcaption></figcaption></figure>

| Modèle        | Terminal-Bench 2.1 | SWE-bench Pro v2† | SWE-bench Verified | LiveCodeBench v6 | IFBench | IFEval |
| ------------- | ------------------ | ----------------- | ------------------ | ---------------- | ------- | ------ |
| Flint BF16    | 54.9               | 89.7              | 74.2               | 80.3             | 89.2    | 95.1   |
| Flint NVFP4   | 53.7               | 88.5              | 74.1               | 80.8             | 88.1    | 94.6   |
| Qwen 3.5      | 38.7               | 68.6              | 69.2               | 74.6             | 70.2    | 91.9   |
| Qwen 3.6      | 44.9               | 73.8              | 73.4               | 80.4             | 67.9    | 89.6   |
| Laguna XS 2.1 | 24,7†              | 38.6              | 70.9               | 49,5†            | 34,4†   | 73,7†  |
| Qwen 3.8      | 73.0               | 94.9              | 75,6†              | 90.3             | 79.5    | 94,6†  |
| Muse Glimmer  | 51.7               | 86.0              | 76.0               | 63,5†            | 77.0    | 94,7†  |
| Gemma 4       | 43.4               | 61.7              | 66.6               | 80.0             | 76.0    | 94.6   |

Notes du graphique :

* † = Mesuré en interne (comme indiqué sur le graphique original).
* Flint BF16 : 40 milliards de paramètres au total, environ 2 milliards actifs.
* Flint NVFP4 : checkpoint Flint quantifié.
* Qwen 3.5, Qwen 3.6, Laguna XS 2.1 : catégorie MoE sparse (33–35 milliards au total, 3 milliards actifs).
* Qwen 3.8, Muse Glimmer, Gemma 4 : catégorie dense (27–31 milliards).
* Tous les graphiques de benchmarks utilisent une échelle commençant à zéro.


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://unsloth.ai/docs/fr/modeles/flint.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
