> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/fr/modeles/mistral-large-4.md).

# Mistral Large 4 (Le Chonk) : Exécuter en local

Guide pour exécuter localement les GGUF de Mistral Large 4 avec Unsloth et llama.cpp.

Mistral Large 4 (Le Chonk) est le **modèle de 1 000 milliards de paramètres** modèle MoE avec **52 milliards de paramètres actifs** (y compris les embeddings et les couches de sortie). Mistral Large 4 est le **modèle ouvert occidental le plus puissant** à ce jour et prend en charge les entrées texte et image, une **fenêtre de contexte d’1 M** fenêtre, plus de 160 langues et le raisonnement. Vous pouvez exécuter Le Chonk localement avec les GGUF dynamiques d’Unsloth via Unsloth ou llama.cpp. GGUF : [Mistral-Large-4-1T-A52B-GGUF](https://huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF)

Le 1 bit dynamique conserve **91 % de la précision top-1** dans les tâches de codage, les tâches agentiques, les mathématiques et d’autres domaines tout en étant 80 % plus petit (**223 Go** contre **1,1 To** FP8). Le 2 bits dynamique conserve 95 % de la précision top-1 tout en étant 66 % plus petit (378 Go). Merci à Mistral pour l’accès dès le premier jour.

<a href="/docs/fr/modeles/mistral-large-4.md#run-mistral-large-4-tutorials" class="button primary">Exécuter les tutoriels Mistral Large 4</a><a href="/docs/fr/modeles/mistral-large-4.md#quantization-analysis" class="button secondary">Analyse des quantifications</a>

### **⚙️ Guide d’utilisation**

La plus petite quantification dynamique 1 bit, `UD-IQ1_S`, utilise environ **233 Go** d’espace disque, ce qui devrait tenir dans 256 Go de RAM, y compris sur un Mac Studio ou 2 NVIDIA DGX Spark.

**Tableau : exigences matérielles** (unités = mémoire totale : RAM + VRAM, ou mémoire unifiée)

| 1 bit      | 2 bits     | 3 bits     | 4 bits | 8 bits |
| ---------- | ---------- | ---------- | ------ | ------ |
| 256–270 Go | 310–390 Go | 435–500 Go | 630 Go | 1,2 To |

Pour de meilleures performances, votre total disponible **RAM + VRAM**, ou mémoire unifiée, doit dépasser la taille du fichier de la quantification avec une marge pour le système d’exploitation, le cache KV et les tampons d’exécution. Les contextes plus longs nécessitent plus de mémoire.

#### Paramètres recommandés

Mistral recommande les mêmes paramètres d’échantillonnage pour tous les niveaux de raisonnement :

| Température | Top-p  |
| ----------- | ------ |
| `1.0`       | `0.95` |

* Niveaux de raisonnement = faible, moyen et élevé
* Maximum **fenêtre de contexte** est `1,048,576` jetons.

Nous avons également exécuté des benchmarks KLD pour toutes les quantifications - plus de détails dans [#quantization-analysis](#quantization-analysis "mention")

<figure><img src="https://550366147-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FAtJWJHFOCP7cu7IQKiGt%2Fsize_vs_top1_unsloth.png?alt=media&amp;token=27d694b8-db6f-4661-a8c8-c354823ca2c6" alt="" width="563"><figcaption></figcaption></figure>

## Tutoriels pour exécuter Mistral Large 4 :

Les exemples ci-dessous utilisent [`UD-Q2_K_XL`](https://huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF/tree/main/UD-Q2_K_XL) pour l’inférence textuelle. Vous pouvez changer le type de quantification vers n’importe quelle quantification disponible dans le [dépôt GGUF](https://huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF).

### 🦥 Exécuter Mistral Large 4 dans Unsloth

[Unsloth Desktop](https://unsloth.ai/docs/desktop) exécute localement des GGUF sur **macOS, Windows et Linux**, décharge automatiquement vers la RAM et détecte les configurations multi-GPU.

{% stepper %}
{% step %}

#### Installer Unsloth

La manière la plus simple de commencer est de télécharger [l’application Unsloth Desktop](/docs/fr/desktop.md). Fonctionne sur [macOS](/docs/fr/commencer/install/mac.md), [Windows](/docs/fr/commencer/install/windows-installation.md), et [Linux](/docs/fr/commencer/install/linux.md).

<a href="https://unsloth.ai/download" class="button primary" data-icon="down-to-bracket">Télécharger Unsloth</a>

* <i class="fa-apple">:apple:</i> [Télécharger pour macOS](https://unsloth.ai/download/mac)
* <i class="fa-windows">:windows:</i> [Télécharger pour Windows](https://unsloth.ai/download/windows)
* <i class="fa-linux">:linux:</i> [Télécharger pour Linux](https://unsloth.ai/download/linux)

Ou, si vous préférez installer manuellement :

**MacOS, Linux, WSL :**

```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```

**Windows PowerShell :**

```powershell
irm https://unsloth.ai/install.ps1 | iex
```

{% endstep %}

{% step %}

#### Rechercher et télécharger Mistral Large 4

Allez dans [Unsloth Chat](https://unsloth.ai/docs/new/studio/chat) ou le hub de modèles, recherchez **Mistral-Large-4-1T-A52B** et sélectionnez [unsloth/Mistral-Large-4-1T-A52B-GGUF](https://huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF). Téléchargez la quantification souhaitée en utilisant les tailles et exigences mémoire ci-dessus.
{% endstep %}

{% step %}

#### Exécuter Mistral Large 4

Mistral Large 4 utilise `élevé` par défaut. Utilisez `faible` pour un chat rapide, `moyen` pour les tâches quotidiennes, ou `élevé` pour les invites complexes et le codage agentique. Unsloth sélectionne automatiquement les meilleures configurations pour vous, mais vous pouvez toujours les ajuster manuellement.

Pour plus d’informations, vous pouvez consulter notre [guide d’inférence Unsloth](/docs/fr/nouveau/studio/chat.md).
{% endstep %}

{% step %}

#### Servir Mistral Large 4 avec l’API Unsloth

Vous pouvez utiliser la `commande unsloth run` pour servir Mistral Large 4 via une API en utilisant `llama-server` les options d’exécution, notamment la taille du contexte, les couches GPU, le multithreading et l’échantillonnage. Pour plus d’infos, consultez notre [documentation API](https://unsloth.ai/docs/basics/api) ou [unsloth start](https://unsloth.ai/docs/integrations/unsloth-start).

{% code overflow="wrap" %}

```bash
unsloth run --model unsloth/Mistral-Large-4-1T-A52B-GGUF:UD-Q2_K_XL \\
    --temp 1.0 \\
    --top-p 0.95 \\
    --top-k 0 \\
    --min-p 0.0 \\
    --chat-template-kwargs '{"reasoning_effort":"high"}'
```

{% endcode %}

Utilisez un runtime prenant en charge Mistral Large 4.
{% endstep %}

{% step %}

#### Unsloth est maintenant prêt

Vous pouvez connecter Mistral Large 4 à vos outils via Unsloth Desktop. Unsloth prend également en charge les workflows suivants :

* **Connecter des outils :** [Claude Code](/docs/fr/notions-de-base/claude-code.md), [Codex](/docs/fr/notions-de-base/codex.md), [recherche web](/docs/fr/nouveau/studio/chat.md#advanced-web-search), [MCP](/docs/fr/notions-de-base/mcp.md) et plus encore
* **Entraîner des modèles :** Affiner d’autres modèles pris en charge pour le texte, la diffusion, [embedding](/docs/fr/notions-de-base/embedding-finetuning.md), et bien plus encore
* **Générer des médias :** Créer et entraîner [images](/docs/fr/notions-de-base/diffusion-image.md), vidéo, [TTS](/docs/fr/notions-de-base/text-to-speech-tts-fine-tuning.md) localement

<div align="center"><figure><img src="https://550366147-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FYShiiub5gs5pCQLX6d4U%2FScreenshot%202026-08-15%20at%2012.18.24%E2%80%AFAM.png?alt=media&amp;token=d6996797-a144-4113-b4c3-155cca6c39a0" alt="Unsloth Desktop Agents settings interface example" width="563"><figcaption><p>Paramètres Agents d’Unsloth Desktop (exemple d’interface). Sélectionnez Mistral Large 4 et la quantification téléchargée lors de la connexion d’un outil.</p></figcaption></figure></div>
{% endstep %}
{% endstepper %}

### Analyse de quantification

Nous avons exécuté des benchmarks KLD et top-1 % sur une variété de domaines comme l’appel d’outils, le codage et les longues traces agentiques, et montrons que la quantification dynamique Unsloth (UD3) peut conserver beaucoup de précision tout en réduisant la taille du modèle.

<figure><img src="https://550366147-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F57miJQhlcpxXmZ1XuYc1%2Fsize_vs_top1_per_axis.png?alt=media&amp;token=6e121fc8-6f9a-43df-bea8-d317cbe5448e" alt=""><figcaption></figcaption></figure>

Nous avons également exécuté KLD et le fournissons aussi par corpus :

<figure><img src="https://550366147-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FeclA1iBNKp9D2Gk2TzyL%2Fsize_vs_kld_per_axis.png?alt=media&amp;token=88cfa583-370a-4e1b-bf44-e9b797df8a9d" alt=""><figcaption></figcaption></figure>

| Quant                                                                                            | Taille  | KLD moyen (7 catégories) | Accord top-1 |
| ------------------------------------------------------------------------------------------------ | ------- | ------------------------ | ------------ |
| [UD-IQ1\_S](https://huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF/tree/main/UD-IQ1_S)      | 233 Go  | 0.1263                   | 90.6%        |
| [UD-IQ1\_M](https://huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF/tree/main/UD-IQ1_M)      | 260 Go  | 0.0919                   | 92.3%        |
| [UD-IQ2\_XXS](https://huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF/tree/main/UD-IQ2_XXS)  | 302 Go  | 0.0566                   | 93.9%        |
| [UD-Q2\_K\_XL](https://huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF/tree/main/UD-Q2_K_XL) | 378 Go  | 0.0298                   | 95.6%        |
| [UD-IQ3\_XXS](https://huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF/tree/main/UD-IQ3_XXS)  | 424 Go  | 0.0217                   | 96.2%        |
| [UD-Q3\_K\_XL](https://huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF/tree/main/UD-Q3_K_XL) | 493 Go  | 0.0162                   | 96.6%        |
| [UD-Q4\_K\_XL](https://huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF/tree/main/UD-Q4_K_XL) | 605 Go  | 0.0071                   | 97.8%        |
| [UD-Q5\_K\_XL](https://huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF/tree/main/UD-Q5_K_XL) | 784 Go  | 0.0038                   | 98.5%        |
| [UD-Q6\_K\_XL](https://huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF/tree/main/UD-Q6_K_XL) | 890 Go  | 0.0032                   | 98.6%        |
| [UD-Q8\_K\_XL](https://huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF/tree/main/UD-Q8_K_XL) | 1115 Go |                          |              |

### 🦙 Exécuter Mistral Large 4 dans llama.cpp

Utilisez une version de compilation de llama.cpp avec **la prise en charge de Mistral Large 4**. Les commandes ci-dessous utilisent la `UD-Q2_K_XL` quantification (environ **378 Go**).

{% stepper %}
{% step %}

#### Installer llama.cpp

Obtenir [llama.cpp sur GitHub](https://github.com/ggml-org/llama.cpp), ou compilez-le ci-dessous. Sous Linux avec un GPU NVIDIA, installez d’abord le toolkit CUDA et les dépendances de compilation :

```bash
sudo apt-get update
sudo apt-get install -y build-essential cmake curl libcurl4-openssl-dev
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \\
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --target llama-cli llama-server
```

Pour **CPU ou Apple Metal**, utilisez `-DGGML_CUDA=OFF`. La prise en charge de Metal est activée par défaut sur macOS. Pour Windows et les autres backends GPU, suivez les instructions de compilation du dépôt.
{% endstep %}

{% step %}

#### Télécharger et exécuter Mistral Large 4

Cette commande télécharge la quantification et lance un serveur de chat local :

```bash
./llama.cpp/build/bin/llama-server \\
    -hf unsloth/Mistral-Large-4-1T-A52B-GGUF:UD-Q2_K_XL \\
    --ctx-size 32768 \\
    --temp 1.0 \\
    --top-p 0.95 \\
    --top-k 0 \\
    --min-p 0.0 \\
    --chat-template-kwargs '{"reasoning_effort":"high"}' \\
    --host 127.0.0.1 --port 8080
```

Ouvrez [http://127.0.0.1:8080](http://127.0.0.1:8080/) dans votre navigateur pour discuter. L’API est disponible à `http://127.0.0.1:8080/v1`.

L’exemple utilise un **contexte de 32K** pour limiter la mémoire du cache KV. `--top-k 0` et `--min-p 0.0` désactivent les filtres d’échantillonnage supplémentaires afin que les paramètres recommandés de température et de top-p s’appliquent. Si vous manquez de mémoire, réduisez `--ctx-size` ou choisissez une quantification plus petite.
{% endstep %}

{% step %}

#### Optionnel : télécharger manuellement

Installez l’interface CLI Hugging Face et téléchargez uniquement la quantification souhaitée :

```bash
pip install -U huggingface_hub
hf download unsloth/Mistral-Large-4-1T-A52B-GGUF \\
    --local-dir unsloth/Mistral-Large-4-1T-A52B-GGUF \\
    --include "UD-Q2_K_XL/*"
```

Conservez **les 9 fragments** dans le même répertoire. Dans la commande du serveur ci-dessus, remplacez `-hf unsloth/Mistral-Large-4-1T-A52B-GGUF:UD-Q2_K_XL` par :

```bash
--model unsloth/Mistral-Large-4-1T-A52B-GGUF/UD-Q2_K_XL/Mistral-Large-4-1T-A52B-UD-Q2_K_XL-00001-of-00009.gguf
```

llama.cpp charge automatiquement les fragments restants. Pour utiliser plutôt le 1 bit dynamique, téléchargez `UD-IQ1_S/*` et pointez `--model` vers `Mistral-Large-4-1T-A52B-UD-IQ1_S-00001-of-00006.gguf` dans ce dossier.
{% endstep %}
{% endstepper %}

### Benchmarks

D’autres benchmarks sont listés dans le [blog officiel](https://mistral.ai/news/mistral-large-4-oss/).

<div><figure><img src="https://550366147-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FrTfj0eor2jVXeH9huZQf%2Fartificial-analysis-coding-agent-index-terminal-bench-4-0.png?alt=media&amp;token=a08947b8-0048-4c41-bc9d-1e5f3daed76f" alt=""><figcaption></figcaption></figure> <figure><img src="https://550366147-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FQSsBf7oTXp1DgRkktb3a%2Fartificial-analysis-cyber-index.png?alt=media&amp;token=1d81038d-082e-4784-93d4-24ebfdcb8eea" alt=""><figcaption></figcaption></figure></div>

<div><figure><img src="https://550366147-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FvL6PLiJRKH6fuE5PIkY8%2Fweb-browsing-browsecomp.png?alt=media&amp;token=df26f6fa-e8ad-42f1-b29f-8284e9b27323" alt=""><figcaption></figcaption></figure> <figure><img src="https://550366147-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FwlEZNXmsndI26kr6zLZP%2Fartificial-analysis-coding-agent-index-vs-token-efficiency.png?alt=media&amp;token=ec0e687d-1165-4602-8e5d-b5ccb395eb85" alt=""><figcaption></figcaption></figure></div>


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://unsloth.ai/docs/fr/modeles/mistral-large-4.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.