> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/modelle/tutorials/minimax-m27.md). # MiniMax-M2.7 - So führst du es lokal aus MiniMax-M2.7 ist ein neues offenes Modell für agentisches Coding und Chat-Anwendungsfälle. Das Modell erreicht SOTA-Leistung in SWE-Pro (56,22 %) und Terminal Bench 2 (57,0 %). Die **230B Parameter** (10B aktiv) Modell ist der Nachfolger von [MiniMax-M25](/docs/de/modelle/tutorials/minimax-m25.md) und hat ein **200K-Kontext** Fenster. Das unquantisierte bf16 benötigt **457GB**. Unsloth Dynamic **4-Bit** GGUF reduziert die Größe auf **108GB** **(-60%)** sodass es auf einem **128GB RAM** Gerät**:** [**MiniMax-M2.7 GGUF**](https://huggingface.co/unsloth/MiniMax-M2.7-GGUF) Alle Uploads verwenden Unsloth [Dynamic 2.0](/docs/de/grundlagen/dynamic-3.0-ggufs.md) für SOTA-Quantisierungsleistung – daher werden wichtige Schichten auf höhere Bit-Tiefen hochgestuft (z. B. 8- oder 16-Bit). Vielen Dank an MiniMax für den Day-Zero-Zugriff. {% hint style="success" %} NEUE MiniMax-M2.7-GGUF-Benchmarks verfügbar! [Hier ansehen](#gguf-benchmarks) {% endhint %} ### :gear: Nutzungsanleitung Die 4-Bit-Dynamik-Quantisierung `UD-IQ4_XS` verwendet **108GB** an Speicherplatz auf der Festplatte – das passt gut auf einen **Mac mit 128GB Unified Memory** für \~15+ Tokens/s und funktioniert auch schneller mit einem **1x16GB-GPU und 96GB RAM** für 25+ Tokens/s. **2-Bit** Quantisierungen oder die größte 2-Bit-Variante passen auf ein 96GB-Gerät. Für nahezu **voller Präzision**, verwenden Sie `Q8_0` (8-Bit), das 243GB nutzt und auf ein Gerät / einen Mac mit 256GB RAM für 15+ Tokens/s passt. {% hint style="success" %} Für die beste Leistung stelle sicher, dass dein insgesamt verfügbarer Speicher (VRAM + Systemspeicher) größer ist als die Größe der quantisierten Modelldatei, die du herunterlädst. Falls nicht, kann llama.cpp weiterhin per SSD/HDD-Offloading laufen, aber die Inferenz wird langsamer. {% endhint %} ### Empfohlene Einstellungen MiniMax empfiehlt, für beste Leistung die folgenden Parameter zu verwenden: `temperature=1.0`, `top_p = 0.95`, `top_k = 40`. {% columns %} {% column %} | Standardeinstellungen (die meisten Aufgaben) | | -------------------------------------------- | | `temperature = 1.0` | | `top_p = 0.95` | | `top_k = 40` | | {% endcolumn %} | {% column %} * **Maximales Kontextfenster:** `196,608` * Standard-System-Prompt: {% code overflow="wrap" %} ``` Du bist ein hilfreicher Assistent. Dein Name ist MiniMax-M2.7 und wurde von MiniMax entwickelt. ``` {% endcode %} {% endcolumn %} {% endcolumns %} ## MiniMax-M2.7-Tutorials ausführen: Um MiniMax-M2.7 auf einem Gerät mit 128GB RAM zum Laufen zu bringen, verwenden wir die 4-Bit [`UD-IQ4_XS` Quant](https://huggingface.co/unsloth/MiniMax-M2.7-GGUF?show_file_info=UD-IQ4_XS%2FMiniMax-M2.7-UD-IQ4_XS-00001-of-00004.gguf). Du kannst MiniMax-M2.7 jetzt in [llama.cpp](#run-in-llama.cpp) und [Unsloth Studio](#run-in-unsloth-studio). {% hint style="warning" %} Verwende CUDA 13.2 NICHT, um ein Modell auszuführen, da dies zu Kauderwelsch oder schlechten Ausgaben führen kann. NVIDIA arbeitet an einer Lösung. {% endhint %} ### 🦥 In Unsloth Studio ausführen MiniMax-M2.7 kann jetzt in [Unsloth Studio](/docs/de/neu/studio.md), unserer neuen Open-Source-Weboberfläche für lokale KI. Mit Unsloth Studio können Sie Modelle lokal auf **MacOS, Windows**, Linux und: {% columns %} {% column %} * Suchen, herunterladen, [GGUFs ausführen](/docs/de/neu/studio.md#run-models-locally) und Safetensor-Modelle * [**Selbstheilende** Tool-Aufrufe](/docs/de/neu/studio.md#execute-code--heal-tool-calling) + **Websuche** * [**Code-Ausführung**](/docs/de/neu/studio.md#run-models-locally) (Python, Bash) * [Automatische Inferenz](https://unsloth.ai/docs/desktop#feature-deep-dive) Parametertuning (Temp, Top-P usw.) * Verwendet llama.cpp für schnelle CPU- und GPU-Inferenz sowie CPU-Offloading {% endcolumn %} {% column %}
{% endcolumn %} {% endcolumns %} {% stepper %} {% step %} #### Unsloth installieren Führen Sie dies in Ihrem Terminal aus: **macOS, Linux, WSL:** ```bash curl -fsSL https://unsloth.ai/install.sh | sh ``` **Windows PowerShell:** ```bash irm https://unsloth.ai/install.ps1 | iex ``` {% endstep %} {% step %} #### Unsloth starten **MacOS, Linux, WSL und Windows:** ```bash unsloth studio -H 0.0.0.0 -p 8888 ``` **Dann öffnen Sie `http://localhost:8888` in Ihrem Browser.** {% endstep %} {% step %} #### MiniMax-M2.7 suchen und herunterladen Beim ersten Start müssen Sie ein Passwort erstellen, um Ihr Konto zu sichern, und sich später erneut anmelden. Sie sehen dann einen kurzen Einrichtungsassistenten, um ein Modell, einen Datensatz und grundlegende Einstellungen auszuwählen. Sie können ihn jederzeit überspringen. Sie können wählen `UD-IQ4_XS` (dynamische 4-Bit-Quantisierung) oder andere quantisierte Versionen wie `UD-Q4_K_XL` . Falls Downloads hängen bleiben, siehe [Debugging für Hugging Face Hub, XET](/docs/de/grundlagen/troubleshooting-and-faqs/hugging-face-hub-xet-debugging.md) Gehen Sie dann zur [Unsloth Chat](/docs/de/neu/studio/chat.md) Registerkarte und suche in der Suchleiste nach MiniMax-M2.7 und lade das gewünschte Modell und die gewünschte Quantisierung herunter. Aufgrund der Größe wird der Download etwas dauern, bitte warte also. Um eine schnelle Inferenz zu gewährleisten, stelle sicher, dass du [genügend RAM/VRAM](#usage-guide), andernfalls funktioniert die Inferenz weiterhin, aber Unsloth lagert auf Ihre CPU aus.
{% endstep %} {% step %} #### MiniMax-M2.7 ausführen Die Inferenzparameter sollten bei Verwendung von Unsloth Studio automatisch gesetzt werden, Sie können sie jedoch weiterhin manuell ändern. Sie können auch die Kontextlänge, das Chat-Template und andere Einstellungen bearbeiten. Weitere Informationen finden Sie in unserer [Unsloth-Studio-Inferenzanleitung](/docs/de/neu/studio/chat.md). {% endstep %} {% endstepper %} ### ✨ In llama.cpp ausführen {% hint style="warning" %} Verwende CUDA 13.2 NICHT, um ein Modell auszuführen, da dies zu Kauderwelsch oder schlechten Ausgaben führen kann. NVIDIA arbeitet an einer Lösung. {% endhint %} {% stepper %} {% step %} Holen Sie sich die neueste `llama.cpp` auf [GitHub hier](https://github.com/ggml-org/llama.cpp). Sie können auch den folgenden Build-Anweisungen folgen. Ändern Sie `-DGGML_CUDA=ON` zu `-DGGML_CUDA=OFF` wenn Sie keine GPU haben oder nur CPU-Inferenz möchten. **Für Apple-Mac-/Metal-Geräte**, setzen Sie `-DGGML_CUDA=OFF` und fahren Sie dann wie gewohnt fort – Metal-Unterstützung ist standardmäßig aktiviert. {% code overflow="wrap" %} ```bash apt-get update apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y git clone https://github.com/ggml-org/llama.cpp cmake llama.cpp -B llama.cpp/build \\ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpp ``` {% endcode %} {% endstep %} {% step %} Wenn Sie `llama.cpp` um Modelle direkt zu laden, kannst du Folgendes tun: (:IQ4\_XS) ist der Quantisierungstyp. Du kannst auch über Hugging Face herunterladen (Punkt 3). Das ist ähnlich wie `ollama run` . Verwenden Sie `export LLAMA_CACHE="folder"` um zu erzwingen, `llama.cpp` um an einem bestimmten Speicherort zu speichern. Denken Sie daran, dass das Modell nur eine maximale Kontextlänge von 200K hat. Befolge dies für **die meisten Standard-** Anwendungsfälle: ```bash export LLAMA_CACHE="unsloth/MiniMax-M2.7-GGUF" ./llama.cpp/llama-cli \\ -hf unsloth/MiniMax-M2.7-GGUF:UD-IQ4_XS \\ --temp 1.0 \\ --top-p 0.95 \ --top-k 40 ``` {% endstep %} {% step %} Lade das Modell herunter (nach der Installation von `pip install huggingface_hub hf_transfer`). Du kannst UD-IQ4\_XS (dynamische 4-Bit-Quantisierung) oder andere quantisierte Versionen wie `UD-Q6_K_XL` . Wir empfehlen, unsere dynamische 4-Bit-Quantisierung UD-IQ4\_XS zu verwenden, um Größe und Genauigkeit auszubalancieren. Wenn Downloads hängen bleiben, siehe [Debugging für Hugging Face Hub, XET](/docs/de/grundlagen/troubleshooting-and-faqs/hugging-face-hub-xet-debugging.md) ```bash hf download unsloth/MiniMax-M2.7-GGUF \\ --local-dir unsloth/MiniMax-M2.7-GGUF \\ --include "*UD-IQ4_XS*" # Use "*Q8_0*" for 8-bit ``` {% endstep %} {% step %} Sie können `--threads 32` für die Anzahl der CPU-Threads, `--ctx-size 16384` für die Kontextlänge, `--n-gpu-layers 2` für das GPU-Offloading für wie viele Schichten. Versuchen Sie, ihn anzupassen, wenn Ihrem GPU der Speicher ausgeht. Entfernen Sie ihn auch, wenn Sie nur CPU-Inferenz haben. {% code overflow="wrap" %} ```bash ./llama.cpp/llama-cli \\ --model unsloth/MiniMax-M2.7-GGUF/UD-IQ4_XS/MiniMax-M2.7-UD-IQ4_XS-00001-of-00004.gguf \\ --temp 1.0 \\ --top-p 0.95 \ --top-k 40 ``` {% endcode %} {% endstep %} {% endstepper %} #### 🦙 Llama-Server & OpenAIs Completion-Bibliothek Um MiniMax-M2.7 in der Produktion bereitzustellen, verwenden wir `llama-server` oder die OpenAI-API. In einem neuen Terminal, z. B. über tmux, stelle das Modell wie folgt bereit: {% code overflow="wrap" %} ```bash ./llama.cpp/llama-server \\ --model unsloth/MiniMax-M2.7-GGUF/UD-IQ4_XS/MiniMax-M2.7-UD-IQ4_XS-00001-of-00004.gguf \\ --alias "unsloth/MiniMax-M2.7" \\ --prio 3 \ --temp 1.0 \\ --top-p 0.95 \ --min-p 0.01 \ --top-k 40 \\ --port 8001 ``` {% endcode %} Dann in einem neuen Terminal, nach dem Ausführen von `pip install openai`, führe aus: {% code overflow="wrap" %} ```python from openai import OpenAI import json openai_client = OpenAI( base_url = "http://127.0.0.1:8001/v1", api_key = "sk-no-key-required", ) completion = openai_client.chat.completions.create( model = "unsloth/MiniMax-M2.7", messages = [{"role": "user", "content": "Erstelle ein Snake-Spiel."},], ) print(completion.choices[0].message.content) ``` {% endcode %} ## 📊 Benchmarks ### GGUF-Benchmarks Unten sind KLD-99%-Benchmarks für MiniMax-M2.7. Unten links ist besser:
Da MiniMax-M2.7 dieselbe Architektur wie MiniMax-M2.5 nutzt, sollten die GGUF-Quantisierungs-Benchmarks für M2.7 denen von M2.5 sehr ähnlich sein. Daher verweisen wir auch auf den früheren Quantisierungs-Benchmark für M2.5:
[Benjamin Marie (Drittanbieter) benchmarkte](https://x.com/bnjmn_marie/status/2027043753484021810/photo/1) **MiniMax-M2.5** unter Verwendung von **Unsloth-GGUF-Quantisierungen** auf einem **750-Prompt-Mischsuite** (LiveCodeBench v6, MMLU Pro, GPQA, Math500), wobei sowohl **Gesamtgenauigkeit** und **relative Fehlerzunahme** (wie viel häufiger das quantisierte Modell im Vergleich zum Original Fehler macht). Unsloth-Quantisierungen schneiden unabhängig von ihrer Präzision bei Genauigkeit und relativem Fehler deutlich besser ab als ihre Nicht-Unsloth-Pendants (obwohl sie 8GB kleiner sind). **Wichtige Ergebnisse:** * **Bester Kompromiss aus Qualität und Größe hier: `unsloth UD-Q4_K_XL`.**\ Es kommt dem Original am nächsten: nur **6,0 Punkte** weniger, und „nur“ **+22.8%** mehr Fehler als die Baseline. * **Andere Unsloth-Q4-Quantisierungen liegen eng beieinander (\~64,5–64,9 Genauigkeit).**\ `IQ4_NL`, `MXFP4_MOE` und `UD-IQ2_XXS` haben auf diesem Benchmark im Grunde alle die gleiche Qualität, mit **\~33–35 %** mehr Fehlern als das Original. * Unsloth-GGUFs schneiden deutlich besser ab als andere Nicht-Unsloth-GGUFs, z. B. siehe `lmstudio-community - Q4_K_M` (obwohl sie 8GB kleiner sind) und `AesSedai - IQ3_S`. ### Offizielle Benchmarks
--- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter: ``` GET https://unsloth.ai/docs/de/modelle/tutorials/minimax-m27.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.