> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/modelle/tutorials/minimax-m27.md). # MiniMax-M2.7 - So wird es lokal ausgeführt MiniMax-M2.7 ist ein neues offenes Modell für agentisches Coding und Chat-Anwendungsfälle. Das Modell erreicht SOTA-Performance in SWE-Pro (56,22 %) und Terminal Bench 2 (57,0 %). Der **230B Parameter** (10B aktiv) Modell ist der Nachfolger von [MiniMax-M25](/docs/de/modelle/tutorials/minimax-m25.md) und hat ein **Kontextfenster mit 200K** Fenster. Das unquantisierte bf16 benötigt **457GB**. Unsloth Dynamic **4-Bit** GGUF reduziert die Größe auf **108GB** **(-60%)** sodass es auf einem **128GB RAM** Gerät**:** [**MiniMax-M2.7 GGUF**](https://huggingface.co/unsloth/MiniMax-M2.7-GGUF) Alle Uploads verwenden Unsloth [Dynamic 2.0](/docs/de/grundlagen/unsloth-dynamic-2.0-ggufs.md) für SOTA-Quantisierungsleistung - daher werden wichtige Schichten auf höhere Bits hochgestuft (z. B. 8- oder 16-Bit). Vielen Dank an MiniMax für den Day-Zero-Zugriff. {% hint style="success" %} NEUE MiniMax-M2.7 GGUF-Benchmarks verfügbar! [Siehe hier](#gguf-benchmarks) {% endhint %} ### :gear: Anleitung Die dynamische 4-Bit-Quantisierung `UD-IQ4_XS` verwendet **108GB** an Speicherplatz auf der Festplatte - das passt gut auf einen **Mac mit 128GB Unified Memory** für \~15+ Token/s und funktioniert außerdem schneller mit einem **1x16GB-GPU und 96GB RAM** für 25+ Token/s. **2-Bit** Quants oder die größte 2-Bit-Variante passen auf ein 96GB-Gerät. Für nahezu **voller Präzision**, verwenden Sie `Q8_0` (8-Bit), das 243GB nutzt und auf ein Gerät / einen Mac mit 256GB RAM für 15+ Token/s passt. {% hint style="success" %} Für die beste Leistung stellen Sie sicher, dass Ihr gesamter verfügbarer Speicher (VRAM + Systemspeicher) die Größe der quantisierten Modelldatei übersteigt, die Sie herunterladen. Falls nicht, kann llama.cpp weiterhin über SSD/HDD-Offloading ausgeführt werden, aber die Inferenz wird langsamer. {% endhint %} ### Empfohlene Einstellungen MiniMax empfiehlt für die beste Leistung die Verwendung der folgenden Parameter: `temperature=1.0`, `top_p = 0.95`, `top_k = 40`. {% columns %} {% column %} | Standardeinstellungen (die meisten Aufgaben) | | -------------------------------------------- | | `temperature = 1.0` | | `top_p = 0.95` | | `top_k = 40` | | {% endcolumn %} | {% column %} * **Maximales Kontextfenster:** `196,608` * Standard-Systemprompt: {% code overflow="wrap" %} ``` Du bist ein hilfreicher Assistent. Dein Name ist MiniMax-M2.7 und du wurdest von MiniMax entwickelt. ``` {% endcode %} {% endcolumn %} {% endcolumns %} ## MiniMax-M2.7-Tutorials ausführen: Damit MiniMax-M2.7 auf einem Gerät mit 128GB RAM funktioniert, verwenden wir die 4-Bit- [`UD-IQ4_XS` Quant](https://huggingface.co/unsloth/MiniMax-M2.7-GGUF?show_file_info=UD-IQ4_XS%2FMiniMax-M2.7-UD-IQ4_XS-00001-of-00004.gguf). Du kannst MiniMax-M2.7 jetzt in [llama.cpp](#run-in-llama.cpp) und [Unsloth Studio](#run-in-unsloth-studio). {% hint style="warning" %} Verwende CUDA 13.2 NICHT, um irgendein Modell auszuführen, da es zu Kauderwelsch oder schlechten Ausgaben führen kann. NVIDIA arbeitet an einer Lösung. {% endhint %} ### 🦥 In Unsloth Studio ausführen MiniMax-M2.7 kann jetzt in [Unsloth Studio](/docs/de/neu/studio.md), unserer neuen Open-Source-Web-UI für lokale KI. Mit Unsloth Studio können Sie Modelle lokal ausführen auf **MacOS, Windows**, Linux und: {% columns %} {% column %} * Suchen, herunterladen, [GGUFs ausführen](/docs/de/neu/studio.md#run-models-locally) und Safetensor-Modelle * [**Selbstheilendes** Tool-Calling](/docs/de/neu/studio.md#execute-code--heal-tool-calling) + **Websuche** * [**Codeausführung**](/docs/de/neu/studio.md#run-models-locally) (Python, Bash) * [Automatische Inferenz](/docs/de/neu/studio.md#model-arena) Parameterabstimmung (temp, top-p usw.) * Verwendet llama.cpp für schnelle CPU- + GPU-Inferenz und CPU-Auslagerung {% endcolumn %} {% column %}
{% endcolumn %} {% endcolumns %} {% stepper %} {% step %} #### Unsloth installieren Führe in deinem Terminal aus: **macOS, Linux, WSL:** ```bash curl -fsSL https://unsloth.ai/install.sh | sh ``` **Windows PowerShell:** ```bash irm https://unsloth.ai/install.ps1 | iex ``` {% endstep %} {% step %} #### Unsloth starten **MacOS, Linux, WSL und Windows:** ```bash unsloth studio -H 0.0.0.0 -p 8888 ``` **Dann öffnen Sie `http://localhost:8888` in deinem Browser.** {% endstep %} {% step %} #### MiniMax-M2.7 suchen und herunterladen Beim ersten Start musst du ein Passwort erstellen, um dein Konto zu sichern, und dich später erneut anmelden. Danach siehst du einen kurzen Einrichtungsassistenten, um ein Modell, einen Datensatz und grundlegende Einstellungen auszuwählen. Du kannst ihn jederzeit überspringen. Du kannst `UD-IQ4_XS` (dynamische 4-Bit-Quantisierung) oder andere quantisierte Versionen wie `UD-Q4_K_XL` . Wenn Downloads hängen bleiben, siehe [Hugging Face Hub, XET-Debugging](/docs/de/grundlagen/troubleshooting-and-faqs/hugging-face-hub-xet-debugging.md) Gehen Sie dann zur [Unsloth Chat](/docs/de/neu/studio/chat.md) Tab und suche in der Suchleiste nach MiniMax-M2.7 und lade das gewünschte Modell und die gewünschte Quantisierung herunter. Aufgrund der Größe wird der Download etwas dauern, also bitte warten. Um eine schnelle Inferenz sicherzustellen, stelle sicher, dass du [genügend RAM/VRAM](#usage-guide) hast, andernfalls funktioniert die Inferenz weiterhin, aber Unsloth lagert auf deine CPU aus.
{% endstep %} {% step %} #### MiniMax-M2.7 ausführen Die Inferenzparameter sollten bei der Verwendung von Unsloth Studio automatisch gesetzt werden, du kannst sie jedoch weiterhin manuell ändern. Du kannst außerdem die Kontextlänge, die Chat-Vorlage und andere Einstellungen bearbeiten. Für weitere Informationen können Sie unsere [Inferenzanleitung für Unsloth Studio](/docs/de/neu/studio/chat.md). {% endstep %} {% endstepper %} ### ✨ In llama.cpp ausführen {% hint style="warning" %} Verwende CUDA 13.2 NICHT, um irgendein Modell auszuführen, da es zu Kauderwelsch oder schlechten Ausgaben führen kann. NVIDIA arbeitet an einer Lösung. {% endhint %} {% stepper %} {% step %} Holen Sie sich die neueste `llama.cpp` ein [GitHub hier](https://github.com/ggml-org/llama.cpp). Sie können auch den untenstehenden Build-Anweisungen folgen. Ändern Sie `-DGGML_CUDA=ON` zu `-DGGML_CUDA=OFF` wenn Sie keine GPU haben oder nur CPU-Inferenz wünschen. **Für Apple-Mac-/Metal-Geräte**, setzen Sie `-DGGML_CUDA=OFF` und fahren Sie dann wie gewohnt fort - Metal-Unterstützung ist standardmäßig aktiviert. {% code overflow="wrap" %} ```bash apt-get update apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y git clone https://github.com/ggml-org/llama.cpp cmake llama.cpp -B llama.cpp/build \\ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpp ``` {% endcode %} {% endstep %} {% step %} Wenn Sie `llama.cpp` direkt, um Modelle zu laden, kannst du Folgendes tun: (:IQ4\_XS) ist der Quantisierungstyp. Du kannst auch über Hugging Face herunterladen (Punkt 3). Das ist ähnlich zu `ollama run` . Verwenden Sie `export LLAMA_CACHE="folder"` um zu erzwingen `llama.cpp` um an einem bestimmten Ort zu speichern. Denk daran, dass das Modell nur eine maximale Kontextlänge von 200K hat. Folgen Sie dafür **den meisten Standard-** Anwendungsfälle: ```bash export LLAMA_CACHE="unsloth/MiniMax-M2.7-GGUF" ./llama.cpp/llama-cli \\ -hf unsloth/MiniMax-M2.7-GGUF:UD-IQ4_XS \\ --temp 1.0 \\ --top-p 0.95 \\ --top-k 40 ``` {% endstep %} {% step %} Lade das Modell herunter (nach der Installation von `pip install huggingface_hub hf_transfer`). Du kannst UD-IQ4\_XS (dynamische 4-Bit-Quantisierung) oder andere quantisierte Versionen wie wählen `UD-Q6_K_XL` . Wir empfehlen die Verwendung unserer dynamischen 4-Bit-Quantisierung UD-IQ4\_XS, um Größe und Genauigkeit auszubalancieren. Wenn Downloads hängen bleiben, siehe [Hugging Face Hub, XET-Debugging](/docs/de/grundlagen/troubleshooting-and-faqs/hugging-face-hub-xet-debugging.md) ```bash hf download unsloth/MiniMax-M2.7-GGUF \\ --local-dir unsloth/MiniMax-M2.7-GGUF \\ --include "*UD-IQ4_XS*" # Verwende "*Q8_0*" für 8-Bit ``` {% endstep %} {% step %} Sie können `--threads 32` für die Anzahl der CPU-Threads, `--ctx-size 16384` für die Kontextlänge, `--n-gpu-layers 2` für das GPU-Offloading, auf wie vielen Layern. Probieren Sie es anzupassen, wenn Ihrer GPU der Speicher ausgeht. Entfernen Sie es außerdem, wenn Sie nur CPU-Inferenz haben. {% code overflow="wrap" %} ```bash ./llama.cpp/llama-cli \\ --model unsloth/MiniMax-M2.7-GGUF/UD-IQ4_XS/MiniMax-M2.7-UD-IQ4_XS-00001-of-00004.gguf \\ --temp 1.0 \\ --top-p 0.95 \\ --top-k 40 ``` {% endcode %} {% endstep %} {% endstepper %} #### 🦙 Llama-Server & OpenAIs Completion-Bibliothek Um MiniMax-M2.7 in der Produktion bereitzustellen, verwenden wir `llama-server` oder die OpenAI-API. In einem neuen Terminal, z. B. über tmux, stelle das Modell über Folgendes bereit: {% code overflow="wrap" %} ```bash ./llama.cpp/llama-server \\ --model unsloth/MiniMax-M2.7-GGUF/UD-IQ4_XS/MiniMax-M2.7-UD-IQ4_XS-00001-of-00004.gguf \\ --alias "unsloth/MiniMax-M2.7" \\ --prio 3 \\ --temp 1.0 \\ --top-p 0.95 \\ --min-p 0.01 \ --top-k 40 \\ --port 8001 ``` {% endcode %} Dann in einem neuen Terminal, nachdem Sie `pip install openai`, führen Sie Folgendes aus: {% code overflow="wrap" %} ```python from openai import OpenAI import json openai_client = OpenAI( base_url = "http://127.0.0.1:8001/v1", api_key = "sk-no-key-required", ) completion = openai_client.chat.completions.create( model = "unsloth/MiniMax-M2.7", messages = [{"role": "user", "content": "Erstellen Sie ein Snake-Spiel."},], ) print(completion.choices[0].message.content) ``` {% endcode %} ## 📊 Benchmarks ### GGUF-Benchmarks Nachfolgend sind KLD-99%-Benchmarks für MiniMax-M2.7. Unten links ist besser:
Da MiniMax-M2.7 dieselbe Architektur wie MiniMax-M2.5 nutzt, sollten die GGUF-Quantisierungs-Benchmarks für M2.7 denen von M2.5 sehr ähnlich sein. Daher verweisen wir auch auf den früheren Quant-Benchmark für M2.5:
[Benjamin Marie (Drittanbieter) hat Benchmarks durchgeführt](https://x.com/bnjmn_marie/status/2027043753484021810/photo/1) **MiniMax-M2.5** mit **Unsloth-GGUF-Quantisierungen** auf einem **750-Prompt-Mischsuite** (LiveCodeBench v6, MMLU Pro, GPQA, Math500), und berichtete sowohl **Gesamtgenauigkeit** und **relative Fehlerzunahme** (wie viel häufiger das quantisierte Modell im Vergleich zum Original Fehler macht). Unsloth-Quants schneiden unabhängig von ihrer Präzision sowohl bei der Genauigkeit als auch beim relativen Fehler deutlich besser ab als ihre Nicht-Unsloth-Pendants (obwohl sie 8GB kleiner sind). **Wichtige Ergebnisse:** * **Bester Kompromiss zwischen Qualität und Größe hier: `unsloth UD-Q4_K_XL`.**\ Es kommt dem Original am nächsten: nur **6,0 Punkte** darunter, und „nur“ **+22.8%** mehr Fehler als die Basislinie. * **Andere Unsloth-Q4-Quants liegen leistungsmäßig dicht beieinander (\~64,5–64,9 Genauigkeit).**\ `IQ4_NL`, `MXFP4_MOE`, und `UD-IQ2_XXS` sind in diesem Benchmark im Grunde alle von derselben Qualität, mit **\~33–35 %** mehr Fehlern als das Original. * Unsloth-GGUFs schneiden deutlich besser ab als andere Nicht-Unsloth-GGUFs, z. B. siehe `lmstudio-community - Q4_K_M` (obwohl sie 8GB kleiner sind) und `AesSedai - IQ3_S`. ### Offizielle Benchmarks
--- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter: ``` GET https://unsloth.ai/docs/de/modelle/tutorials/minimax-m27.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.