> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/modelle/minimax-m3.md).

# MiniMax M3 - So führst du es lokal aus

MiniMax M3 ist ein neues **\~428B (23B aktiv)** offenes Modell für Coding, agentische Workflows, Aufgaben für die Zusammenarbeit und multimodalen Chat. Das multimodale Modell unterstützt Text-, Bild- und Videoeingaben und ein **1M-Kontext** **Fenster**. Die unquantisierten bf16-Gewichte sind \~**855 GB** und das 1-Bit-GGUF reduziert dies auf nur **128 GB (-85 %)**: [**MiniMax-M3 GGUF**](https://huggingface.co/unsloth/MiniMax-M3-GGUF)

Das Modell ist vergleichbar mit Gemini 3.1 Pro – mit einer Bewertung von 59 % auf SWE-Bench Pro, 66 % auf Terminal-Bench 2.1, 34,8 % auf SWE-fficiency und 28,8 % auf KernelBench Hard. Danke an MiniMax für den Zugang am ersten Tag.

{% columns %}
{% column width="50%" %}
{% hint style="info" %}
MiniMax-M3-GGUFs sind derzeit experimentell. MiniMax-M3 selbst ist nativ multimodal, aber das aktuelle experimentelle GGUF ist **nur Text** und unterstützt MiniMax Sparse Attention nicht.
{% endhint %}
{% endcolumn %}

{% column width="50%" %}

<figure><img src="/files/cec52fc6e43d52817103c80356991cca709771e4" alt="" width="375"><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

#### :gear: Nutzungsanleitung

Die kleinste GGUF-Quantisierung, `UD-IQ1_M`, verwendet **128 GB** Speicherplatz auf der Festplatte. Da die Dateigröße den KV-Cache und die Kontextzuweisung nicht einschließt, versuche, mindestens **133 GB RAM** zum Ausführen des Modells zu haben. Es wird empfohlen, `UD-IQ3_XXS` das **159 GB** für beste Ergebnisse zu verwenden.

Die **4-Bit** `UD-IQ4_XS` Quantisierung beträgt **208 GB**, während `UD-Q4_K_XL` ist **265 GB**. Diese eignen sich besser für Systeme der Klasse 256 GB+ oder 512 GB+, Multi-GPU-Server oder Systeme mit CPU-RAM plus GPU-Offload.

**Tabelle: Hardwareanforderungen für Inferenz** (Einheiten = Gesamtspeicher: RAM + VRAM oder Unified Memory)

<table><thead><tr><th>1-Bit</th><th>2-Bit</th><th width="128">3-Bit</th><th>4-Bit</th><th>5-Bit</th><th>8-Bit</th></tr></thead><tbody><tr><td>133 GB</td><td>148 GB</td><td>164-200 GB</td><td>213-270 GB</td><td>325 GB</td><td>460-470 GB</td></tr></tbody></table>

{% hint style="success" %}
Für beste Leistung stellen Sie sicher, dass Ihr gesamter verfügbarer Speicher, einschließlich VRAM und Systemspeicher, die Dateigröße des quantisierten Modells mit ausreichend Puffer übersteigt.
{% endhint %}

#### Empfohlene Einstellungen

MiniMax empfiehlt die folgenden Parameter für die beste Leistung: `temperature=1.0`, `top_p=0.95`, `top_k=40`.

{% columns %}
{% column %}

| `temperature = 1.0` |
| ------------------- |
| `top_p = 0.95`      |
| `top_k = 40`        |
| {% endcolumn %}     |

{% column %}

* **Maximales Kontextfenster:** `1,048,576`
* Standard-System-Prompt:

{% code overflow="wrap" %}

```
Du bist ein hilfreicher Assistent. Dein Name ist MiniMax-M3 und du wurdest von MiniMax entwickelt.
```

{% endcode %}
{% endcolumn %}
{% endcolumns %}

## MiniMax-M3-Tutorials ausführen:

Für dieses Tutorial verwenden wir die kleinste aktuelle Quantisierung, UD-IQ1\_M, da MiniMax-M3 groß ist. Ersetze UD-IQ1\_M durch UD-IQ4\_XS, UD-Q4\_K\_XL oder eine andere Quantisierung, wenn dein Rechner genug Speicher hat. Du kannst MiniMax-M3 jetzt in Unsloth ausführen.

Unsloth-Leitfaden

#### Unsloth herunterladen

#### Unsloth herunterladen

<https://unsloth.ai/download>

<https://unsloth.ai/download>

### Unsloth-Leitfaden

#### Unsloth herunterladen

<https://unsloth.ai/download>

{% hint style="success" %}
Du kannst MiniMax M3 jetzt über [Unsloth](#unsloth-studio-guide) ✨ ausführen. Stelle sicher, dass du > [`v0.1.463-beta`](https://github.com/unslothai/unsloth/tree/v0.1.462-beta) oder `2026.6.6`.
{% endhint %}

MiniMax M3 läuft in Unsloth auf MacOS, Windows und Linux. Du kannst:

{% columns %}
{% column %}

* Suchen, herunterladen, [GGUFs ausführen](/docs/de/neu/studio.md#run-models-locally) und Safetensor-Modelle
* [**Selbstheilende** Tool-Aufrufe](/docs/de/neu/studio.md#execute-code--heal-tool-calling) + **Websuche**
* [**Code-Ausführung**](/docs/de/neu/studio.md#run-models-locally) (Python, Bash)
* [Automatische Inferenz](https://unsloth.ai/docs/desktop#feature-deep-dive) Parametertuning (Temp, Top-P usw.)
* Schnelle CPU- + GPU-Inferenz über llama.cpp
* [LLMs trainieren](/docs/de/neu/studio.md#no-code-training) 2x schneller mit 70 % weniger VRAM
  {% endcolumn %}

{% column %}

<div data-with-frame="true"><figure><img src="/files/37d41a9986d4b1f503942b2654532cfdd5149728" alt=""><figcaption></figcaption></figure></div>
{% endcolumn %}
{% endcolumns %}

{% stepper %}
{% step %}

#### Unsloth installieren

Stelle sicher, dass du die neueste [`v0.1.463-beta`](https://github.com/unslothai/unsloth/tree/v0.1.462-beta) oder `2026.6.6`. Führe im Terminal aus:

**macOS, Linux, WSL:**

```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```

**Windows PowerShell:**

```bash
irm https://unsloth.ai/install.ps1 | iex
```

{% endstep %}

{% step %}

#### Unsloth starten

**MacOS, Linux, WSL und Windows:**
{% endstep %}

{% step %}

#### MiniMax M3 suchen und herunterladen

Gehen Sie dann zur [Unsloth Chat](/docs/de/neu/studio/chat.md) Tab und suche in der Suchleiste nach MiniMax M3 und lade das gewünschte Modell und die gewünschte Quantisierung herunter.

<figure><img src="/files/bb477459eac643da4060f9be6f76cb24b9dc0ca5" alt="" width="563"><figcaption></figcaption></figure>
{% endstep %}

{% step %}

#### MiniMax M3 ausführen

<div data-with-frame="true"><figure><img src="/files/cec52fc6e43d52817103c80356991cca709771e4" alt=""><figcaption></figcaption></figure></div>
{% endstep %}
{% endstepper %}

### 🦙 Llama.cpp-Anleitung

{% stepper %}
{% step %}
Den spezifischen `llama.cpp` Pull Request auf [**GitHub hier**](https://github.com/ggml-org/llama.cpp/pull/24523). Sie können auch den folgenden Build-Anweisungen folgen. Ändern Sie `-DGGML_CUDA=ON` zu `-DGGML_CUDA=OFF` wenn Sie keine GPU haben oder nur CPU-Inferenz möchten. **Für Apple-Mac-/Metal-Geräte**, setzen Sie `-DGGML_CUDA=OFF` und fahren Sie dann wie gewohnt fort – Metal-Unterstützung ist standardmäßig aktiviert.

```bash
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
git fetch origin pull/24523/head:minimax-m3
git checkout minimax-m3
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release -j --target llama-cli llama-server
```

{% endstep %}

{% step %}
Jetzt kannst du `llama.cpp` direkt verwenden, um Modelle zu laden und herunterzuladen, genau wie `ollama run`. Wähle zuerst den gewünschten Quantisierungstyp wie `Q2_K_XL`. Verwende außerdem `export LLAMA_CACHE="folder"` um zu erzwingen, `llama.cpp` zum Speichern an einem bestimmten Ort. Beachte, dass dieser Downloadprozess sehr langsam sein kann, daher ist es wahrscheinlich am besten, im nächsten Abschnitt den manuellen Downloadprozess zu verwenden.

```bash
export LLAMA_CACHE="unsloth/MiniMax-M3-GGUF"
./build/bin/llama-cli \",
    -hf unsloth/MiniMax-M3-GGUF:UD-IQ1_M \",
    --temp 1.0 \\
    --top-p 0.95 \
    --top-k 40
```

{% hint style="info" %}
Hinweis: MiniMax Sparse Attention wird noch nicht unterstützt, daher greift die Inferenz auf dichte Attention zurück.
{% endhint %}
{% endstep %}

{% step %}
Wenn du das Modell manuell herunterladen möchtest, können wir das Modell über den folgenden Code herunterladen (nach der Installation von `pip install huggingface_hub`). Wenn Downloads hängen bleiben, siehe: [Debugging für Hugging Face Hub, XET](/docs/de/grundlagen/troubleshooting-and-faqs/hugging-face-hub-xet-debugging.md)

```bash
hf download unsloth/MiniMax-M3-GGUF \",
    --local-dir unsloth/MiniMax-M3-GGUF \",
    --include "*UD-IQ1_M*" # Verwende "*UD-IQ4_XS*" für 4-Bit
```

{% endstep %}

{% step %}
Sie können `--threads 32` für die Anzahl der CPU-Threads, `--ctx-size 32768` für die Kontextlänge, `--n-gpu-layers 2` für GPU-Offloading, wie viele Schichten. Versuche, es anzupassen, wenn deiner GPU der Speicher ausgeht. Entferne es auch, wenn du nur CPU-Inferenz hast. Denk daran, dass MSA noch nicht unterstützt wird, also behalte `--ctx-size` moderat – Attention mit sehr langen Kontexten verbraucht viel Speicher.

{% code overflow="wrap" %}

```bash
./build/bin/llama-cli \",
    --model unsloth/MiniMax-M3-GGUF/UD-IQ1_M/MiniMax-M3-UD-IQ1_M-00001-of-00004.gguf \\
    --temp 1.0 \\
    --top-p 0.95 \
    --top-k 40
```

{% endcode %}
{% endstep %}
{% endstepper %}

## 📊 Benchmarks

<figure><img src="/files/21b047401655b14c454c98beb7772841342d4231" alt=""><figcaption></figcaption></figure>

<figure><img src="/files/83837fa94ba90056b77467887a69611b6d2db1fe" alt=""><figcaption></figcaption></figure>


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:

```
GET https://unsloth.ai/docs/de/modelle/minimax-m3.md?ask=<question>&goal=<endgoal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.