# MiniMax-M2.5: Leitfaden zum Ausführen MiniMax-M2.5 ist ein neues offenes LLM, das SOTA in den Bereichen Programmierung, agentische Werkzeugnutzung sowie Suche und Büroarbeit erreicht und 80,2 % erzielt in [SWE-Bench](#benchmarks) Verified, 51,3 % in Multi-SWE-Bench und 76,3 % in BrowseComp. Die **230B Parameter** (10B aktiv) Modell hat ein **200K-Kontext** Fenster und unquantisiertes bf16 erfordert **457 GB**. Unsloth Dynamic **3-Bit** GGUF reduziert die Größe auf **101 GB** **(-62%):** [**MiniMax-M2.5 GGUF**](https://huggingface.co/unsloth/MiniMax-M2.5-GGUF) Alle Uploads verwenden Unsloth [Dynamic 2.0](/docs/de/grundlagen/unsloth-dynamic-2.0-ggufs.md) für SOTA-Quantisierungsleistung – daher werden bei 3-Bit wichtige Schichten auf 8 oder 16 Bit hochskaliert. Du kannst das Modell auch über Unsloth mit Multi-GPUs feinabstimmen. {% hint style="success" %} **26. Feb.:** Sieh hier, wie gut unsere GGUF-Quantisierungen [bei Benchmarks abschneiden](#unsloth-gguf-benchmarks). {% endhint %} ### :gear: Nutzungsanleitung Die 3-Bit-Dynamik-Quant UD-Q3\_K\_XL verwendet **101 GB** an Speicherplatz – das passt gut auf einen **Mac mit 128 GB Unified Memory** für \~20+ Tokens/s und funktioniert auch schneller mit einer **1x16GB-GPU und 96 GB RAM** für 25+ Tokens/s. **2-Bit** Quantisierungen oder die größte 2-Bit-Version passen auf ein 96-GB-Gerät. Für nahezu **volle Präzision**, verwende `Q8_0` (8-Bit), die 243 GB nutzt und auf ein Gerät / einen Mac mit 256 GB RAM für 10+ Tokens/s passt. {% hint style="success" %} Für beste Leistung stelle sicher, dass dein insgesamt verfügbarer Speicher (VRAM + Systemspeicher) die Größe der quantisierten Modelldatei übersteigt, die du herunterlädst. Wenn nicht, kann llama.cpp weiterhin per SSD/HDD-Offloading ausgeführt werden, aber die Inferenz wird langsamer sein. {% endhint %} ### Empfohlene Einstellungen MiniMax empfiehlt zur besten Leistung die folgenden Parameter zu verwenden: `temperature=1.0`, `top_p = 0.95`, `top_k = 40`. {% columns %} {% column %} | Standardeinstellungen (meiste Aufgaben) | | -------------------------------------------- | | `temperature = 1.0` | | `top_p = 0.95` | | `top_k = 40` | | `Wiederholungsstrafe = 1,0` oder deaktiviert | | {% endcolumn %} | {% column %} * **Maximales Kontextfenster:** `196,608` * `Min_P = 0,01` (Standard kann 0,05 sein) * Standard-Systemprompt: {% code overflow="wrap" %} ``` Du bist ein hilfreicher Assistent. Dein Name ist MiniMax-M2.5 und du wurdest von MiniMax entwickelt. ``` {% endcode %} {% endcolumn %} {% endcolumns %} ## MiniMax-M2.5-Tutorials ausführen: Für diese Tutorials verwenden wir die 3-Bit [UD-Q3\_K\_XL](https://huggingface.co/unsloth/MiniMax-M2.5-GGUF?show_file_info=UD-Q3_K_XL%2FMiniMax-M2.5-UD-Q3_K_XL-00001-of-00004.gguf) Quantisierung, die auf ein Gerät mit 128 GB RAM passt. #### ✨ In llama.cpp ausführen {% stepper %} {% step %} Beschaffe die neueste `llama.cpp` auf [GitHub hier](https://github.com/ggml-org/llama.cpp). Du kannst unten auch den Build-Anweisungen folgen. Ändere `-DGGML_CUDA=ON` zu `-DGGML_CUDA=OFF` wenn du keine GPU hast oder nur CPU-Inferenz möchtest. **Für Apple Mac / Metal-Geräte**, setze `-DGGML_CUDA=OFF` und fahre dann wie gewohnt fort – Metal-Unterstützung ist standardmäßig aktiviert. {% code overflow="wrap" %} ```bash apt-get update apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y git clone https://github.com/ggml-org/llama.cpp cmake llama.cpp -B llama.cpp/build \ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpp ``` {% endcode %} {% endstep %} {% step %} Wenn du `llama.cpp` Um Modelle direkt zu laden, kannst du Folgendes tun: (:Q3\_K\_XL) ist der Quantisierungstyp. Du kannst auch über Hugging Face herunterladen (Punkt 3). Das ist ähnlich wie `ollama run` . Verwende `export LLAMA_CACHE="folder"` um `llama.cpp` um an einem bestimmten Ort zu speichern. Denk daran, dass das Modell nur eine maximale Kontextlänge von 200K hat. Folge dies für **meiste Standard-** Anwendungsfälle: ```bash export LLAMA_CACHE="unsloth/MiniMax-M2.5-GGUF" ./llama.cpp/llama-cli \ -hf unsloth/MiniMax-M2.5-GGUF:UD-Q3_K_XL \\ --ctx-size 16384 \ --flash-attn on \\ --temp 1.0 \ --top-p 0.95 \ --min-p 0.01 \\ --top-k 40 ``` {% endstep %} {% step %} Lade das Modell über (nach Installation von `pip install huggingface_hub hf_transfer` ). Du kannst `UD-Q3_K_XL` (dynamische 4-Bit-Quantisierung) oder andere quantisierte Versionen wie `UD-Q6_K_XL` . Wir empfehlen die Verwendung unserer dynamischen 4-Bit-Quantisierung `UD-Q3_K_XL` um Größe und Genauigkeit auszubalancieren. Wenn Downloads hängen bleiben, siehe [Hugging Face Hub, XET-Debugging](/docs/de/grundlagen/troubleshooting-and-faqs/hugging-face-hub-xet-debugging.md) ```bash hf download unsloth/MiniMax-M2.5-GGUF \\ --local-dir unsloth/MiniMax-M2.5-GGUF \\ --include "*UD-Q3_K_XL*" # Verwende "*Q8_0*" für 8-Bit ``` {% endstep %} {% step %} Du kannst bearbeiten `--threads 32` für die Anzahl der CPU-Threads, `--ctx-size 16384` für die Kontextlänge, `--n-gpu-layers 2` für GPU-Offloading, auf wie viele Schichten. Versuchen Sie, dies anzupassen, wenn Ihre GPU nicht mehr in den Speicher passt. Entfernen Sie es auch, wenn Sie nur auf der CPU inferieren. {% code overflow="wrap" %} ```bash ./llama.cpp/llama-cli \ --model unsloth/MiniMax-M2.5-GGUF/UD-Q3_K_XL/MiniMax-M2.5-UD-Q3_K_XL-00001-of-00004.gguf \\ --temp 1.0 \ --top-p 0.95 \ --min-p 0.01 \\ --top-k 40 \\ --ctx-size 16384 \ --seed 3407 ``` {% endcode %} {% endstep %} {% endstepper %} ### 🦙 Llama-Server & OpenAIs Completion-Bibliothek Um MiniMax-M2.5 produktiv bereitzustellen, verwenden wir `llama-server` oder die OpenAI-API. In einem neuen Terminal, z. B. via tmux, stelle das Modell bereit mit: {% code overflow="wrap" %} ```bash ./llama.cpp/llama-server \ --model unsloth/MiniMax-M2.5-GGUF/UD-Q3_K_XL/MiniMax-M2.5-UD-Q3_K_XL-00001-of-00004.gguf \\ --alias "unsloth/MiniMax-M2.5" \\ --prio 3 \\ --temp 1.0 \ --top-p 0.95 \ --min-p 0.01 \\ --top-k 40 \\ --ctx-size 16384 \ --port 8001 ``` {% endcode %} Dann in einem neuen Terminal, nachdem du `pip install openai`ausgeführt hast: {% code overflow="wrap" %} ```python from openai import OpenAI import json openai_client = OpenAI( base_url = "http://127.0.0.1:8001/v1", api_key = "sk-no-key-required", ) completion = openai_client.chat.completions.create( model = "unsloth/MiniMax-M2.5", messages = [{"role": "user", "content": "Erstelle ein Snake-Spiel."},], ) print(completion.choices[0].message.content) ``` {% endcode %} ## 📊 Benchmarks ### Unsloth GGUF-Benchmarks
[Benjamin Marie (Drittanbieter) hat Benchmarks durchgeführt](https://x.com/bnjmn_marie/status/2027043753484021810/photo/1) **MiniMax-M2.5** unter Verwendung von **Unsloth-GGUF-Quantisierungen** auf einem **750-Prompt-Mix-Suite** (LiveCodeBench v6, MMLU Pro, GPQA, Math500), wobei sowohl **Gesamtgenauigkeit** und **relative Fehlerzunahme** (wie viel häufiger das quantisierte Modell im Vergleich zum Original Fehler macht). Unsloth-Quantisierungen schneiden, unabhängig von ihrer Präzision, sowohl bei der Genauigkeit als auch beim relativen Fehler deutlich besser ab als ihre Nicht-Unsloth-Pendants (obwohl sie 8 GB kleiner sind). **Wichtigste Ergebnisse:** * **Hier das beste Verhältnis von Qualität zu Größe: `unsloth UD-Q4_K_XL`.**\ Es kommt dem Original am nächsten: nur **6,0 Punkte** niedriger, und „nur“ **+22.8%** mehr Fehler als die Basisversion. * **Andere Unsloth-Q4-Quantisierungen liegen eng beieinander (\~64,5–64,9 Genauigkeit).**\ `IQ4_NL`, `MXFP4_MOE`und `UD-IQ2_XXS` haben bei diesem Benchmark im Grunde die gleiche Qualität, mit **\~33–35 %** mehr Fehlern als das Original. * Unsloth-GGUFs schneiden deutlich besser ab als andere Nicht-Unsloth-GGUFs, z. B. siehe `lmstudio-community - Q4_K_M` (obwohl sie 8 GB kleiner sind) und `AesSedai - IQ3_S`. ### Offizielle Benchmarks Weitere Benchmarks in Tabellenform findest du weiter unten:
BenchmarkMiniMax-M2.5MiniMax-M2.1Claude Opus 4.5Claude Opus 4.6Gemini 3 ProGPT-5.2 (Denken)
AIME2586.383.091.095.696.098.0
GPQA-D85.283.087.090.091.090.0
SciCode44.441.050.052.056.052.0
IFBench70.070.058.053.070.075.0
AA-LCR69.562.074.071.071.073.0
SWE-Bench Verified80.274.080.980.878.080.0
SWE-Bench Pro55.449.756.955.454.155.6
Terminal Bench 251.747.953.455.154.054.0
HLE ohne Werkzeuge19.422.228.430.737.231.4
Multi-SWE-Bench51.347.250.050.342.7—
SWE-Bench Mehrsprachig74.171.977.577.865.072.0
VIBE-Pro (AVG)54.242.455.255.636.9—
BrowseComp (mit Kontext)76.362.067.884.059.265.8
Wide Search70.363.276.279.457.0—
RISE50.234.050.562.536.850.0
BFCL Multi-Turn76.837.468.063.361.0—
τ² Telecom97.887.098.299.398.098.7
MEWC74.455.682.189.878.741.3
GDPval-MM59.024.661.173.528.154.5
Finanzmodellierung21.617.330.133.215.020.0

Core-Benchmark-Ergebnisse für Programmierung

Suche und Werkzeugnutzung

Abgeschlossene Aufgaben pro 100

Büro-Fähigkeiten

--- # Agent Instructions: Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter: ``` GET https://unsloth.ai/docs/de/modelle/tutorials/minimax-m25.md?ask= ``` The question should be specific, self-contained, and written in natural language. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.