> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/modelle/mistral-large-4.md).

# Mistral Large 4 (Le Chonk): Lokal ausführen

Anleitung zum lokalen Ausführen von Mistral Large 4 GGUFs mit Unsloth und llama.cpp.

Mistral Large 4 (Le Chonk) ist Mistrals **1-Billionen-Parameter** MoE-Modell mit **52 Mrd. aktive Parameter** (einschließlich Embeddings und Ausgabeschichten). Mistral Large 4 ist das **stärkste westliche offene** Modell bisher und unterstützt Text- und Bildeingaben, ein **1M-Kontext** Fenster, 160+ Sprachen und Reasoning. Sie können Le Chonk lokal mit Unsloth Dynamic GGUFs über Unsloth oder llama.cpp ausführen. GGUF: [Mistral-Large-4-1T-A52B-GGUF](https://huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF)

Dynamic 1-Bit behält **91 % der Top-1-Genauigkeit** über Coding, agentische Aufgaben, Mathematik und andere Bereiche hinweg, während es 80 % kleiner ist (**223 GB** vs **1,1 TB** FP8). Dynamic 2-Bit behält 95 % Top-1-Genauigkeit bei, ist dabei 66 % kleiner (378 GB). Danke an Mistral für den Zugang am ersten Tag.

<a href="/docs/de/modelle/mistral-large-4.md#run-mistral-large-4-tutorials" class="button primary">Mistral Large 4 Tutorials ausführen</a><a href="/docs/de/modelle/mistral-large-4.md#quantization-analysis" class="button secondary">Quant-Analyse</a>

### **⚙️ Gebrauchsanleitung**

Die kleinste Dynamic-1-Bit-Quantisierung, `UD-IQ1_S`, benötigt ungefähr **233 GB** an Speicherplatz, was auf 256 GB RAM passen sollte, einschließlich eines Mac Studio oder 2x NVIDIA DGX Sparks.

**Tabelle: Hardwareanforderungen** (Einheiten = Gesamtspeicher: RAM + VRAM oder Unified Memory)

| 1-Bit      | 2-Bit      | 3-Bit      | 4-Bit  | 8-Bit  |
| ---------- | ---------- | ---------- | ------ | ------ |
| 256–270 GB | 310–390 GB | 435–500 GB | 630 GB | 1,2 TB |

Für die beste Leistung sollte Ihr gesamter verfügbarer **RAM + VRAM**, oder der Unified Memory, die Dateigröße der Quantisierung mit Puffer für das Betriebssystem, den KV-Cache und Laufzeitpuffer übersteigen. Längere Kontexte benötigen mehr Speicher.

#### Empfohlene Einstellungen

Mistral empfiehlt für alle Reasoning-Stufen dieselben Sampling-Einstellungen:

| Temperatur | Top-p  |
| ---------- | ------ |
| `1.0`      | `0.95` |

* Reasoning-Stufen = niedrig, mittel und hoch
* Maximale **Kontextfenster** ist `1,048,576` Tokens.

Wir haben auch KLD-Benchmarks für alle Quants durchgeführt – weitere Details in [#quantization-analysis](#quantization-analysis "mention")

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FAtJWJHFOCP7cu7IQKiGt%2Fsize_vs_top1_unsloth.png?alt=media&amp;token=27d694b8-db6f-4661-a8c8-c354823ca2c6" alt="" width="563"><figcaption></figcaption></figure>

## Mistral Large 4 Tutorials ausführen:

Die folgenden Beispiele verwenden [`UD-Q2_K_XL`](https://huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF/tree/main/UD-Q2_K_XL) für die Texterkennung. Sie können den Quantisierungstyp auf jede verfügbare Quantisierung im [GGUF-Repository](https://huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF).

### 🦥 Mistral Large 4 in Unsloth ausführen

[Unsloth Desktop](https://unsloth.ai/docs/desktop) führt GGUFs lokal auf **macOS, Windows und Linux**aus, lagert automatisch in den RAM aus und erkennt Multi-GPU-Setups.

{% stepper %}
{% step %}

#### Unsloth installieren

Der einfachste Einstieg ist das Herunterladen der [Unsloth-Desktop-App](/docs/de/desktop.md). Funktioniert auf [macOS](/docs/de/loslegen/install/mac.md), [Windows](/docs/de/loslegen/install/windows-installation.md)und [Linux](/docs/de/loslegen/install/linux.md).

<a href="https://unsloth.ai/download" class="button primary" data-icon="down-to-bracket">Unsloth herunterladen</a>

* <i class="fa-apple">:apple:</i> [Für macOS herunterladen](https://unsloth.ai/download/mac)
* <i class="fa-windows">:windows:</i> [Für Windows herunterladen](https://unsloth.ai/download/windows)
* <i class="fa-linux">:linux:</i> [Für Linux herunterladen](https://unsloth.ai/download/linux)

Oder wenn Sie lieber manuell installieren:

**MacOS, Linux, WSL:**

```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```

**Windows PowerShell:**

```powershell
irm https://unsloth.ai/install.ps1 | iex
```

{% endstep %}

{% step %}

#### Mistral Large 4 suchen und herunterladen

Gehen Sie zu [Unsloth Chat](https://unsloth.ai/docs/new/studio/chat) oder Model Hub und suchen Sie nach **Mistral-Large-4-1T-A52B** und wählen Sie [unsloth/Mistral-Large-4-1T-A52B-GGUF](https://huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF). Laden Sie die gewünschte Quantisierung unter Verwendung der oben genannten Größen und Speicheranforderungen herunter.
{% endstep %}

{% step %}

#### Mistral Large 4 ausführen

Mistral Large 4 verwendet `hoch` standardmäßig einen hohen Reasoning-Aufwand. Verwenden Sie `niedrig` für schnellen Chat, `mittel` für alltägliche Aufgaben oder `hoch` für komplexe Prompts und agentisches Coding. Unsloth wählt automatisch die besten Konfigurationen für Sie aus, Sie können sie jedoch weiterhin manuell anpassen.

Weitere Informationen finden Sie in unserer [Unsloth-Inferenzanleitung](/docs/de/neu/studio/chat.md).
{% endstep %}

{% step %}

#### Mistral Large 4 mit der Unsloth-API bereitstellen

Sie können den `unsloth run` Befehl verwenden, um Mistral Large 4 über eine API bereitzustellen, unter Verwendung von `llama-server` Laufzeit-Flags, einschließlich Kontextgröße, GPU-Layern, Threading und Sampling. Weitere Informationen finden Sie in unseren [API-Dokumenten](https://unsloth.ai/docs/basics/api) oder [unsloth start](https://unsloth.ai/docs/integrations/unsloth-start).

{% code overflow="wrap" %}

```bash
unsloth run --model unsloth/Mistral-Large-4-1T-A52B-GGUF:UD-Q2_K_XL \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 0 \
    --min-p 0.0 \
    --chat-template-kwargs '{"reasoning_effort":"high"}'
```

{% endcode %}

Verwenden Sie eine Laufzeitumgebung mit Unterstützung für Mistral Large 4.
{% endstep %}

{% step %}

#### Unsloth ist jetzt bereit

Sie können Mistral Large 4 über Unsloth Desktop mit Ihren Tools verbinden. Unsloth unterstützt auch die folgenden Workflows:

* **Tools verbinden:** [Claude Code](/docs/de/grundlagen/claude-code.md), [Codex](/docs/de/grundlagen/codex.md), [Websuche](/docs/de/neu/studio/chat.md#advanced-web-search), [MCP](/docs/de/grundlagen/mcp.md) und mehr
* **Modelle trainieren:** Andere unterstützte Text-, Diffusions- [Embedding](/docs/de/grundlagen/embedding-finetuning.md), und mehr
* **Medien generieren:** Erstellen und trainieren Sie [Bilder](/docs/de/grundlagen/diffusion-image.md), Video, [TTS](/docs/de/grundlagen/text-to-speech-tts-fine-tuning.md) lokal

<div align="center"><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FYShiiub5gs5pCQLX6d4U%2FScreenshot%202026-08-15%20at%2012.18.24%E2%80%AFAM.png?alt=media&amp;token=d6996797-a144-4113-b4c3-155cca6c39a0" alt="Unsloth Desktop Agents settings interface example" width="563"><figcaption><p>Die Agenteneinstellungen von Unsloth Desktop (Beispieloberfläche). Wählen Sie beim Verbinden eines Tools Mistral Large 4 und Ihre heruntergeladene Quantisierung aus.</p></figcaption></figure></div>
{% endstep %}
{% endstepper %}

### Quantisierungsanalyse

Wir haben KLD- und Top-1%-Benchmarks über eine Vielzahl von Bereichen wie Tool-Aufrufe, Coding und agentische Langläufe hinweg durchgeführt und zeigen, dass die dynamische Quantisierung von Unsloth (UD3) viel Genauigkeit beibehalten kann, während das Modell dennoch kleiner wird.

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F57miJQhlcpxXmZ1XuYc1%2Fsize_vs_top1_per_axis.png?alt=media&amp;token=6e121fc8-6f9a-43df-bea8-d317cbe5448e" alt=""><figcaption></figcaption></figure>

Wir haben auch KLD durchgeführt und stellen sie ebenfalls pro Korpus bereit:

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FeclA1iBNKp9D2Gk2TzyL%2Fsize_vs_kld_per_axis.png?alt=media&amp;token=88cfa583-370a-4e1b-bf44-e9b797df8a9d" alt=""><figcaption></figcaption></figure>

| Quant                                                                                            | Größe   | Mittleres KLD (7 Kategorien) | Top-1-Übereinstimmung |
| ------------------------------------------------------------------------------------------------ | ------- | ---------------------------- | --------------------- |
| [UD-IQ1\_S](https://huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF/tree/main/UD-IQ1_S)      | 233 GB  | 0.1263                       | 90.6%                 |
| [UD-IQ1\_M](https://huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF/tree/main/UD-IQ1_M)      | 260 GB  | 0.0919                       | 92.3%                 |
| [UD-IQ2\_XXS](https://huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF/tree/main/UD-IQ2_XXS)  | 302 GB  | 0.0566                       | 93.9%                 |
| [UD-Q2\_K\_XL](https://huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF/tree/main/UD-Q2_K_XL) | 378 GB  | 0.0298                       | 95.6%                 |
| [UD-IQ3\_XXS](https://huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF/tree/main/UD-IQ3_XXS)  | 424 GB  | 0.0217                       | 96.2%                 |
| [UD-Q3\_K\_XL](https://huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF/tree/main/UD-Q3_K_XL) | 493 GB  | 0.0162                       | 96.6%                 |
| [UD-Q4\_K\_XL](https://huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF/tree/main/UD-Q4_K_XL) | 605 GB  | 0.0071                       | 97.8%                 |
| [UD-Q5\_K\_XL](https://huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF/tree/main/UD-Q5_K_XL) | 784 GB  | 0.0038                       | 98.5%                 |
| [UD-Q6\_K\_XL](https://huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF/tree/main/UD-Q6_K_XL) | 890 GB  | 0.0032                       | 98.6%                 |
| [UD-Q8\_K\_XL](https://huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF/tree/main/UD-Q8_K_XL) | 1115 GB |                              |                       |

### 🦙 Mistral Large 4 in llama.cpp ausführen

Verwenden Sie einen llama.cpp-Build mit **Unterstützung für Mistral Large 4**. Die folgenden Befehle verwenden die `UD-Q2_K_XL` Quantisierung (ungefähr **378 GB**).

{% stepper %}
{% step %}

#### llama.cpp installieren

Erhalten Sie [llama.cpp auf GitHub](https://github.com/ggml-org/llama.cpp), oder bauen Sie es unten selbst. Unter Linux mit einer NVIDIA-GPU installieren Sie zuerst das CUDA-Toolkit und die Build-Abhängigkeiten:

```bash
sudo apt-get update
sudo apt-get install -y build-essential cmake curl libcurl4-openssl-dev
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --target llama-cli llama-server
```

Für **CPU oder Apple Metal**verwenden Sie `-DGGML_CUDA=OFF`. Metal-Unterstützung ist auf macOS standardmäßig aktiviert. Für Windows und andere GPU-Backends folgen Sie den Build-Anweisungen des Repositorys.
{% endstep %}

{% step %}

#### Mistral Large 4 herunterladen und ausführen

Dieser Befehl lädt die Quantisierung herunter und startet einen lokalen Chat-Server:

```bash
./llama.cpp/build/bin/llama-server \
    -hf unsloth/Mistral-Large-4-1T-A52B-GGUF:UD-Q2_K_XL \
    --ctx-size 32768 \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 0 \
    --min-p 0.0 \
    --chat-template-kwargs '{"reasoning_effort":"high"}' \
    --host 127.0.0.1 --port 8080
```

Öffnen Sie [http://127.0.0.1:8080](http://127.0.0.1:8080/) im Browser, um zu chatten. Die API ist verfügbar unter `http://127.0.0.1:8080/v1`.

Das Beispiel verwendet ein **32K-Kontext** um den Speicherbedarf des KV-Caches zu begrenzen. `--top-k 0` und `--min-p 0.0` deaktivieren zusätzliche Sampling-Filter, sodass die empfohlenen Temperature- und Top-p-Einstellungen gelten. Wenn Ihnen der Speicher ausgeht, verringern Sie `--ctx-size` oder wählen Sie eine kleinere Quantisierung.
{% endstep %}

{% step %}

#### Optional: manuell herunterladen

Installieren Sie die Hugging-Face-CLI und laden Sie nur die gewünschte Quantisierung herunter:

```bash
pip install -U huggingface_hub
hf download unsloth/Mistral-Large-4-1T-A52B-GGUF \
    --local-dir unsloth/Mistral-Large-4-1T-A52B-GGUF \
    --include "UD-Q2_K_XL/*"
```

Behalten Sie **alle 9 Shards** im selben Verzeichnis. Ersetzen Sie im obigen Serverbefehl `-hf unsloth/Mistral-Large-4-1T-A52B-GGUF:UD-Q2_K_XL` durch:

```bash
--model unsloth/Mistral-Large-4-1T-A52B-GGUF/UD-Q2_K_XL/Mistral-Large-4-1T-A52B-UD-Q2_K_XL-00001-of-00009.gguf
```

llama.cpp lädt die verbleibenden Shards automatisch. Um stattdessen Dynamic 1-Bit zu verwenden, laden Sie `UD-IQ1_S/*` und verweisen Sie `--model` auf `Mistral-Large-4-1T-A52B-UD-IQ1_S-00001-of-00006.gguf` in diesem Ordner.
{% endstep %}
{% endstepper %}

### Benchmarks

Weitere Benchmarks sind in Mistrals [offiziellem Blog](https://mistral.ai/news/mistral-large-4-oss/).

<div><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FrTfj0eor2jVXeH9huZQf%2Fartificial-analysis-coding-agent-index-terminal-bench-4-0.png?alt=media&amp;token=a08947b8-0048-4c41-bc9d-1e5f3daed76f" alt=""><figcaption></figcaption></figure> <figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FQSsBf7oTXp1DgRkktb3a%2Fartificial-analysis-cyber-index.png?alt=media&amp;token=1d81038d-082e-4784-93d4-24ebfdcb8eea" alt=""><figcaption></figcaption></figure></div>

<div><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FvL6PLiJRKH6fuE5PIkY8%2Fweb-browsing-browsecomp.png?alt=media&amp;token=df26f6fa-e8ad-42f1-b29f-8284e9b27323" alt=""><figcaption></figcaption></figure> <figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FwlEZNXmsndI26kr6zLZP%2Fartificial-analysis-coding-agent-index-vs-token-efficiency.png?alt=media&amp;token=ec0e687d-1165-4602-8e5d-b5ccb395eb85" alt=""><figcaption></figcaption></figure></div>


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://unsloth.ai/docs/de/modelle/mistral-large-4.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.