> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/modelle/minimax-m3.md).

# MiniMax M3 - Lokal ausführen

Führe MiniMax M3 LLM lokal auf deinem eigenen Gerät aus!

MiniMax M3 ist ein neues **\~428B (23B aktiv)** offenes Modell für Programmierung, agentische Workflows, Cowork-Aufgaben und multimodalen Chat. Das multimodale Modell unterstützt Text-, Bild- und Videoeingaben und ein **1 Mio. Kontext** **Fenster**. Die nicht quantisierten bf16-Gewichte sind \~**855 GB** und das 1-Bit-GGUF reduziert dies auf nur **128 GB (-85 %)**: [**MiniMax-M3 GGUF**](https://huggingface.co/unsloth/MiniMax-M3-GGUF)

Das Modell erzielt Leistungen auf Augenhöhe mit Gemini 3.1 Pro – und erreicht 59 % bei SWE-Bench Pro, 66 % bei Terminal-Bench 2.1, 34,8 % bei SWE-fficiency und 28,8 % bei KernelBench Hard. Danke an MiniMax für den Day-Zero-Zugriff.

{% columns %}
{% column width="50%" %}
{% hint style="info" %}
MiniMax-M3-GGUFs sind derzeit experimentell. MiniMax-M3 selbst ist nativ multimodal, aber das aktuelle experimentelle GGUF ist **nur für Text** und unterstützt MiniMax Sparse Attention nicht.
{% endhint %}
{% endcolumn %}

{% column width="50%" %}

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F7A3LPw7ex1psFIPkY6FF%2Fminimax%20m3%20guide.gif?alt=media&amp;token=b733672e-fa14-4572-952c-c9b3dbf82beb" alt="" width="375"><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

#### :gear: Nutzungsleitfaden

Die kleinste GGUF-Quant, `UD-IQ1_M`, verwendet **128 GB** Speicherplatz auf der Festplatte. Da die Dateigröße den KV-Cache und die Kontextzuweisung nicht einschließt, versuche mindestens **133 GB RAM** zum Ausführen des Modells zu haben. Empfohlen wird `UD-IQ3_XXS` das ist **159 GB** für beste Ergebnisse.

Der **4-Bit** `UD-IQ4_XS` Die Quant ist **208 GB**, während `UD-Q4_K_XL` ist **265 GB**. Diese sind besser geeignet für Systeme der 256-GB+- oder 512-GB-Klasse, Multi-GPU-Server oder Systeme mit CPU-RAM plus GPU-Offloading.

**Tabelle: Hardware-Anforderungen für die Inferenz** (Einheiten = Gesamtspeicher: RAM + VRAM oder Unified Memory)

<table><thead><tr><th>1-Bit</th><th>2-Bit</th><th width="128">3-Bit</th><th>4-Bit</th><th>5-Bit</th><th>8-Bit</th></tr></thead><tbody><tr><td>133 GB</td><td>148 GB</td><td>164-200 GB</td><td>213-270 GB</td><td>325 GB</td><td>460-470 GB</td></tr></tbody></table>

{% hint style="success" %}
Für die beste Leistung stelle sicher, dass dein gesamter verfügbarer Speicher, einschließlich VRAM und Systemspeicher, die Dateigröße des quantisierten Modells deutlich übersteigt.
{% endhint %}

#### Empfohlene Einstellungen

MiniMax empfiehlt für die beste Leistung die folgenden Parameter: `temperature=1.0`, `top_p=0.95`, `top_k=40`.

{% columns %}
{% column %}

| `temperature = 1.0` |
| ------------------- |
| `top_p = 0.95`      |
| `top_k = 40`        |
| {% endcolumn %}     |

{% column %}

* **Maximales Kontextfenster:** `1,048,576`
* Standard-System-Prompt:

{% code overflow="wrap" %}

```
Du bist ein hilfreicher Assistent. Dein Name ist MiniMax-M3 und du wurdest von MiniMax entwickelt.
```

{% endcode %}
{% endcolumn %}
{% endcolumns %}

## MiniMax-M3-Tutorials ausführen:

Für dieses Tutorial verwenden wir die derzeit kleinste Quant, UD-IQ1\_M, da MiniMax-M3 groß ist. Ersetze UD-IQ1\_M durch UD-IQ4\_XS, UD-Q4\_K\_XL oder eine andere Quant, wenn dein Rechner genug Speicher hat. Du kannst MiniMax-M3 jetzt in Unsloth ausführen.

Unsloth-Anleitung

#### Unsloth herunterladen

#### Unsloth herunterladen

<https://unsloth.ai/download>

<https://unsloth.ai/download>

### Unsloth-Anleitung

#### Unsloth herunterladen

<https://unsloth.ai/download>

{% hint style="success" %}
Du kannst MiniMax M3 jetzt über [Unsloth](#unsloth-studio-guide) ✨ ausführen. Stelle sicher, dass du > [`v0.1.463-beta`](https://github.com/unslothai/unsloth/tree/v0.1.462-beta) oder `2026.6.6`.
{% endhint %}

MiniMax M3 läuft in Unsloth auf MacOS, Windows und Linux. Du kannst:

{% columns %}
{% column %}

* Suchen, herunterladen, [GGUFs ausführen](/docs/de/neu/studio.md#run-models-locally) und Safetensor-Modelle
* [**Selbstheilend** Tool-Aufrufe](/docs/de/neu/studio.md#execute-code--heal-tool-calling) + **Websuche**
* [**Codeausführung**](/docs/de/neu/studio.md#run-models-locally) (Python, Bash)
* [Automatische Inferenz](https://unsloth.ai/docs/desktop#feature-deep-dive) Abstimmung der Parameter (Temp., Top-p usw.)
* Schnelle CPU- + GPU-Inferenz über llama.cpp
* [LLMs trainieren](/docs/de/neu/studio.md#no-code-training) 2x schneller mit 70 % weniger VRAM
  {% endcolumn %}

{% column %}

<div data-with-frame="true"><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fszoidwwj70dLm5vBjpmL%2Fdiffusiongemma.gif?alt=media&amp;token=8ce359fd-f92c-4cf8-a491-06b04c505cb7" alt=""><figcaption></figcaption></figure></div>
{% endcolumn %}
{% endcolumns %}

{% stepper %}
{% step %}

#### Unsloth installieren

Stelle sicher, dass du die neueste [`v0.1.463-beta`](https://github.com/unslothai/unsloth/tree/v0.1.462-beta) oder `2026.6.6`. Führe in deinem Terminal aus:

**macOS, Linux, WSL:**

```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```

**Windows PowerShell:**

```bash
irm https://unsloth.ai/install.ps1 | iex
```

{% endstep %}

{% step %}

#### Unsloth starten

**macOS, Linux, WSL und Windows:**
{% endstep %}

{% step %}

#### MiniMax M3 suchen und herunterladen

Gehen Sie dann zum [Unsloth Chat](/docs/de/neu/studio/chat.md) Tab und suche in der Suchleiste nach MiniMax M3 und lade das gewünschte Modell und die gewünschte Quant herunter.

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FYUbbg1xVmfmJYVEQTNaS%2FScreenshot%202026-06-12%20at%206.33.22%E2%80%AFPM.png?alt=media&amp;token=9b672870-3c8b-4b38-bfe8-16cdef0b5e25" alt="" width="563"><figcaption></figcaption></figure>
{% endstep %}

{% step %}

#### MiniMax M3 ausführen

<div data-with-frame="true"><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F7A3LPw7ex1psFIPkY6FF%2Fminimax%20m3%20guide.gif?alt=media&amp;token=b733672e-fa14-4572-952c-c9b3dbf82beb" alt=""><figcaption></figcaption></figure></div>
{% endstep %}
{% endstepper %}

### 🦙 Llama.cpp-Leitfaden

{% stepper %}
{% step %}
Erhalte den spezifischen `llama.cpp` PR auf [**hier auf GitHub**](https://github.com/ggml-org/llama.cpp/pull/24523). Sie können auch die folgenden Build-Anweisungen befolgen. Ändern Sie `-DGGML_CUDA=ON` zu `-DGGML_CUDA=OFF` wenn Sie keine GPU haben oder nur CPU-Inferenz möchten. **Für Apple-Mac-/Metal-Geräte**, setzen Sie `-DGGML_CUDA=OFF` und fahren Sie dann wie gewohnt fort – Metal-Unterstützung ist standardmäßig aktiviert.

```bash
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
git fetch origin pull/24523/head:minimax-m3
git checkout minimax-m3
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release -j --target llama-cli llama-server
```

{% endstep %}

{% step %}
Du kannst jetzt `llama.cpp` direkt verwenden, um Modelle zu laden und herunterzuladen, genau wie `ollama run`Bevorzugst du zunächst den gewünschten Quantisierungstyp wie `Q2_K_XL`. Verwende auch `export LLAMA_CACHE="folder"` um zu erzwingen `llama.cpp` um an einem bestimmten Ort zu speichern. Beachte, dass dieser Downloadvorgang sehr langsam sein kann, daher ist es wahrscheinlich am besten, im nächsten Abschnitt den manuellen Downloadvorgang zu verwenden.

```bash
export LLAMA_CACHE="unsloth/MiniMax-M3-GGUF"
./build/bin/llama-cli \\
    -hf unsloth/MiniMax-M3-GGUF:UD-IQ1_M \\
    --temp 1.0 \\
    --top-p 0.95 \\
    --top-k 40
```

{% hint style="info" %}
Hinweis: MiniMax Sparse Attention wird noch nicht unterstützt, daher fällt die Inferenz auf dichte Attention zurück.
{% endhint %}
{% endstep %}

{% step %}
Wenn du das Modell manuell herunterladen möchtest, können wir das Modell über den folgenden Code herunterladen (nach der Installation von `pip install huggingface_hub`). Wenn Downloads hängen bleiben, siehe: [Hugging Face Hub, XET-Debugging](/docs/de/grundlagen/troubleshooting-and-faqs/hugging-face-hub-xet-debugging.md)

```bash
hf download unsloth/MiniMax-M3-GGUF \\
    --local-dir unsloth/MiniMax-M3-GGUF \\
    --include "*UD-IQ1_M*" # Verwende "*UD-IQ4_XS*" für 4-Bit
```

{% endstep %}

{% step %}
Du kannst `--threads 32` für die Anzahl der CPU-Threads, `--ctx-size 32768` für die Kontextlänge, `--n-gpu-layers 2` für GPU-Offloading, je nachdem wie viele Schichten. Versuche es anzupassen, wenn deiner GPU der Speicher ausgeht. Entferne es auch, wenn du nur CPU-Inferenz hast. Denk daran, dass MSA noch nicht unterstützt wird, also behalte `--ctx-size` moderat – dichte Attention bei sehr langen Kontexten verbraucht viel Speicher.

{% code overflow="wrap" %}

```bash
./build/bin/llama-cli \\
    --model unsloth/MiniMax-M3-GGUF/UD-IQ1_M/MiniMax-M3-UD-IQ1_M-00001-of-00004.gguf \\
    --temp 1.0 \\
    --top-p 0.95 \\
    --top-k 40
```

{% endcode %}
{% endstep %}
{% endstepper %}

## 📊 Benchmarks

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F4SjJ6hXo8PijYgtdfMGp%2Fminimaxm3%20short%20benchmarks.jpeg?alt=media&amp;token=1a544bfd-1c81-4b45-89f7-04b88190d473" alt=""><figcaption></figcaption></figure>

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FnRfDibKjJo3LG99RxlqW%2Fminimaxm3.jpeg?alt=media&amp;token=f0c4b21f-9680-4fa8-862f-c79f1c0bf55f" alt=""><figcaption></figcaption></figure>


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://unsloth.ai/docs/de/modelle/minimax-m3.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.