> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/modelle/tutorials/minimax-m25.md). # MiniMax-M2.5: Leitfaden zum Ausführen Führe MiniMax-M2.5 lokal auf deinem eigenen Gerät aus! MiniMax-M2.5 ist ein neues offenes LLM, das SOTA bei Coding, agentischer Tool-Nutzung, Suche und Büroarbeit erreicht und 80,2 % in [SWE-Bench](#benchmarks) Verifiziert, 51,3 % in Multi-SWE-Bench und 76,3 % in BrowseComp. Der **230B Parameter** (10B aktiv) Modell hat eine **200K-Kontext** Fenster und unquantisiertes bf16 erfordert **457 GB**. Unsloth Dynamic **3-Bit** GGUF reduziert die Größe auf **101 GB** **(-62%):** [**MiniMax-M2.5 GGUF**](https://huggingface.co/unsloth/MiniMax-M2.5-GGUF) Alle Uploads verwenden Unsloth [Dynamic 2.0](/docs/de/grundlagen/dynamic-3.0-ggufs.md) für SOTA-Quantisierungsleistung – daher werden bei 3-Bit wichtige Schichten auf 8- oder 16-Bit hochskaliert. Du kannst das Modell auch über Unsloth mit Multi-GPUs feinabstimmen. {% hint style="success" %} **26. Feb.:** Sieh hier, wie gut unsere GGUF-Quants [auf Benchmarks abschneiden](#unsloth-gguf-benchmarks). {% endhint %} ### :gear: Nutzungsleitfaden Die dynamische 3-Bit-Quantisierung UD-Q3\_K\_XL verwendet **101 GB** an Speicherplatz – das passt gut auf einen **128-GB-Unified-Memory-Mac** für \~20+ Token/s und funktioniert auch schneller mit einer **1×16-GB-GPU und 96 GB RAM** für 25+ Token/s. **2-Bit** Quants oder das größte 2-Bit-Modell passen auf ein 96-GB-Gerät. Für nahezu **voller Präzision**, verwenden Sie `Q8_0` (8-Bit), das 243 GB nutzt und auf ein Gerät mit 256 GB RAM / einen Mac für 10+ Token/s passt. {% hint style="success" %} Für die beste Leistung stellen Sie sicher, dass Ihr insgesamt verfügbarer Speicher (VRAM + Systemspeicher) die Größe der quantisierten Modelldatei, die Sie herunterladen, übersteigt. Wenn nicht, kann llama.cpp immer noch über SSD/HDD-Offloading ausgeführt werden, aber die Inferenz wird langsamer. {% endhint %} ### Empfohlene Einstellungen MiniMax empfiehlt, die folgenden Parameter für die beste Leistung zu verwenden: `temperature=1.0`, `top_p = 0.95`, `top_k = 40`. {% columns %} {% column %} | Standardeinstellungen (die meisten Aufgaben) | | -------------------------------------------- | | `temperature = 1.0` | | `top_p = 0.95` | | `top_k = 40` | | `Wiederholungsstrafe = 1,0` oder deaktiviert | | {% endcolumn %} | {% column %} * **Maximales Kontextfenster:** `196,608` * `Min_P = 0,01` (Standard ist möglicherweise 0,05) * Standard-System-Prompt: {% code overflow="wrap" %} ``` Du bist ein hilfreicher Assistent. Dein Name ist MiniMax-M2.5 und du wurdest von MiniMax entwickelt. ``` {% endcode %} {% endcolumn %} {% endcolumns %} ## MiniMax-M2.5-Tutorials ausführen: Für diese Tutorials werden wir die 3-Bit- [UD-Q3\_K\_XL](https://huggingface.co/unsloth/MiniMax-M2.5-GGUF?show_file_info=UD-Q3_K_XL%2FMiniMax-M2.5-UD-Q3_K_XL-00001-of-00004.gguf) Quant verwenden, die auf ein Gerät mit 128 GB RAM passt. #### ✨ In llama.cpp ausführen {% stepper %} {% step %} Holen Sie sich die neueste `llama.cpp` auf [hier auf GitHub](https://github.com/ggml-org/llama.cpp). Sie können auch die folgenden Build-Anweisungen befolgen. Ändern Sie `-DGGML_CUDA=ON` zu `-DGGML_CUDA=OFF` wenn Sie keine GPU haben oder nur CPU-Inferenz möchten. **Für Apple-Mac-/Metal-Geräte**, setzen Sie `-DGGML_CUDA=OFF` und fahren Sie dann wie gewohnt fort – Metal-Unterstützung ist standardmäßig aktiviert. {% code overflow="wrap" %} ```bash apt-get update apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y git clone https://github.com/ggml-org/llama.cpp cmake llama.cpp -B llama.cpp/build \\ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpp ``` {% endcode %} {% endstep %} {% step %} Wenn Sie `llama.cpp` um Modelle direkt zu laden, kannst du Folgendes tun: (:Q3\_K\_XL) ist der Quantisierungstyp. Du kannst auch über Hugging Face herunterladen (Punkt 3). Dies ähnelt `ollama run` . Verwenden Sie `export LLAMA_CACHE="folder"` um zu erzwingen `llama.cpp` um an einem bestimmten Ort zu speichern. Denken Sie daran, dass das Modell nur eine maximale Kontextlänge von 200K hat. Befolgen Sie dies für **die meisten Standardeinstellungen** Anwendungsfälle: ```bash export LLAMA_CACHE="unsloth/MiniMax-M2.5-GGUF" ./llama.cpp/llama-cli \\ -hf unsloth/MiniMax-M2.5-GGUF:UD-Q3_K_XL \\ --ctx-size 16384 \\ --flash-attn on \ --temp 1.0 \\ --top-p 0.95 \\ --min-p 0.01 \\ --top-k 40 ``` {% endstep %} {% step %} Lade das Modell über (nach der Installation von `pip install huggingface_hub hf_transfer` ). Sie können `UD-Q3_K_XL` (dynamische 4-Bit-Quantisierung) oder andere quantisierte Versionen wie `UD-Q6_K_XL` . Wir empfehlen, unsere dynamische 4-Bit-Quantisierung zu verwenden `UD-Q3_K_XL` um Größe und Genauigkeit auszubalancieren. Wenn Downloads hängen bleiben, siehe [Hugging Face Hub, XET-Debugging](/docs/de/grundlagen/troubleshooting-and-faqs/hugging-face-hub-xet-debugging.md) ```bash hf download unsloth/MiniMax-M2.5-GGUF \\ --local-dir unsloth/MiniMax-M2.5-GGUF \\ --include "*UD-Q3_K_XL*" # Verwende "*Q8_0*" für 8-Bit ``` {% endstep %} {% step %} Du kannst `--threads 32` für die Anzahl der CPU-Threads, `--ctx-size 16384` für die Kontextlänge, `--n-gpu-layers 2` für GPU-Offloading auf wie viele Layer. Versuche, ihn anzupassen, wenn deiner GPU der Speicher ausgeht. Entferne ihn auch, wenn du nur CPU-Inferenz hast. {% code overflow="wrap" %} ```bash ./llama.cpp/llama-cli \\ --model unsloth/MiniMax-M2.5-GGUF/UD-Q3_K_XL/MiniMax-M2.5-UD-Q3_K_XL-00001-of-00004.gguf \\ --temp 1.0 \\ --top-p 0.95 \\ --min-p 0.01 \\ --top-k 40 \ --ctx-size 16384 \\ --seed 3407 ``` {% endcode %} {% endstep %} {% endstepper %} ### 🦙 Llama-Server & OpenAIs Completion-Bibliothek Um MiniMax-M2.5 produktiv bereitzustellen, verwenden wir `llama-server` oder die OpenAI-API. Sage in einem neuen Terminal, z. B. via tmux, das Modell bereitstellen über: {% code overflow="wrap" %} ```bash ./llama.cpp/llama-server \\ --model unsloth/MiniMax-M2.5-GGUF/UD-Q3_K_XL/MiniMax-M2.5-UD-Q3_K_XL-00001-of-00004.gguf \\ --alias "unsloth/MiniMax-M2.5" \\ --prio 3 \\ --temp 1.0 \\ --top-p 0.95 \\ --min-p 0.01 \\ --top-k 40 \ --ctx-size 16384 \\ --port 8001 ``` {% endcode %} Dann in einem neuen Terminal, nachdem du `pip install openai`, mache Folgendes: {% code overflow="wrap" %} ```python from openai import OpenAI import json openai_client = OpenAI( base_url = "http://127.0.0.1:8001/v1", api_key = "sk-no-key-required", ) completion = openai_client.chat.completions.create( model = "unsloth/MiniMax-M2.5", messages = [{"role": "user", "content": "Erstelle ein Snake-Spiel."},], ) print(completion.choices[0].message.content) ``` {% endcode %} ## 📊 Benchmarks ### Unsloth-GGUF-Benchmarks
[Benjamin Marie (Drittanbieter) benchmarkte](https://x.com/bnjmn_marie/status/2027043753484021810/photo/1) **MiniMax-M2.5** mit **Unsloth-GGUF-Quantisierungen** auf einem **750-Prompt-Mixed-Suite** (LiveCodeBench v6, MMLU Pro, GPQA, Math500) und berichtete sowohl **Gesamtgenauigkeit** und **relative Fehlerzunahme** (wie viel häufiger das quantisierte Modell Fehler macht als das Original). Unsloth-Quants schneiden unabhängig von ihrer Präzision bei Genauigkeit und relativem Fehler deutlich besser ab als ihre Nicht-Unsloth-Pendants (obwohl sie 8 GB kleiner sind). **Wichtigste Ergebnisse:** * **Bester Kompromiss aus Qualität und Größe hier: `unsloth UD-Q4_K_XL`.**\ Es kommt dem Original am nächsten: nur **6,0 Punkte** niedriger, und „nur“ **+22.8%** mehr Fehler als die Baseline. * **Andere Unsloth-Q4-Quants schneiden eng beieinander ab (\~64,5–64,9 Genauigkeit).**\ `IQ4_NL`, `MXFP4_MOE`, und `UD-IQ2_XXS` sind bei diesem Benchmark im Wesentlichen von derselben Qualität, mit **\~33–35 %** mehr Fehlern als das Original. * Unsloth-GGUFs schneiden deutlich besser ab als andere Nicht-Unsloth-GGUFs, z. B. siehe `lmstudio-community - Q4_K_M` (obwohl sie 8 GB kleiner sind) und `AesSedai - IQ3_S`. ### Offizielle Benchmarks Weiter unten können Sie die Benchmarks in Tabellenform ansehen:
BenchmarkMiniMax-M2.5MiniMax-M2.1Claude Opus 4.5Claude Opus 4.6Gemini 3 ProGPT-5.2 (thinking)
AIME2586.383.091.095.696.098.0
GPQA-D85.283.087.090.091.090.0
SciCode44.441.050.052.056.052.0
IFBench70.070.058.053.070.075.0
AA-LCR69.562.074.071.071.073.0
SWE-Bench Verified80.274.080.980.878.080.0
SWE-Bench Pro55.449.756.955.454.155.6
Terminal Bench 251.747.953.455.154.054.0
HLE ohne Tools19.422.228.430.737.231.4
Multi-SWE-Bench51.347.250.050.342.7—
SWE-Bench Multilingual74.171.977.577.865.072.0
VIBE-Pro (AVG)54.242.455.255.636.9—
BrowseComp (mit Kontext)76.362.067.884.059.265.8
Weite Suche70.363.276.279.457.0—
RISE50.234.050.562.536.850.0
BFCL multi-turn76.837.468.063.361.0—
τ² Telecom97.887.098.299.398.098.7
MEWC74.455.682.189.878.741.3
GDPval-MM59.024.661.173.528.154.5
Finanzmodellierung21.617.330.133.215.020.0

Ergebnisse des Coding-Core-Benchmarks

Suche und Tool-Nutzung

Erledigte Aufgaben pro 100

Office-Fähigkeiten

--- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation by asking a question. Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters: ``` GET https://unsloth.ai/docs/de/modelle/tutorials/minimax-m25.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.