> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/modelle/tutorials/minimax-m27.md). # MiniMax-M2.7 – Wie man lokal ausführt Führe MiniMax-M2.7 LLM lokal auf deinem eigenen Gerät aus! MiniMax-M2.7 ist ein neues Open-Model für Agentic-Coding und Chat-Anwendungsfälle. Das Modell erreicht SOTA-Performance in SWE-Pro (56,22 %) und Terminal Bench 2 (57,0 %). Der **230B Parameter** (10B aktiv) Modell ist der Nachfolger von [MiniMax-M25](/docs/de/modelle/tutorials/minimax-m25.md) und hat ein **200K-Kontext** Fenster. Das unquantisierte bf16 erfordert **457 GB**. Unsloth Dynamic **4-Bit** GGUF reduziert die Größe auf **108 GB** **(-60%)** sodass es auf einem **128 GB RAM** Gerät**:** [**MiniMax-M2.7 GGUF**](https://huggingface.co/unsloth/MiniMax-M2.7-GGUF) Alle Uploads verwenden Unsloth [Dynamic 2.0](/docs/de/grundlagen/dynamic-3.0-ggufs.md) für SOTA-Quantisierungsleistung – daher werden wichtige Schichten auf höhere Bits hochgestuft (z. B. 8- oder 16-Bit). Vielen Dank an MiniMax für den Day-Zero-Zugang. {% hint style="success" %} NEUE MiniMax-M2.7 GGUF-Benchmarks verfügbar! [Hier ansehen](#gguf-benchmarks) {% endhint %} ### :gear: Nutzungsleitfaden Die 4-Bit-Dynamikquantisierung `UD-IQ4_XS` verwendet **108 GB** an Speicherplatz – das passt gut auf einen **128-GB-Unified-Memory-Mac** für \~15+ Token/s und funktioniert auch schneller mit einem **1×16-GB-GPU und 96 GB RAM** für 25+ Token/s. **2-Bit** Quants oder das größte 2-Bit-Modell passen auf ein 96-GB-Gerät. Für nahezu **voller Präzision**, verwenden Sie `Q8_0` (8-Bit), das 243 GB nutzt und auf ein Gerät mit 256 GB RAM / Mac für 15+ Token/s passt. {% hint style="success" %} Für die beste Leistung stellen Sie sicher, dass Ihr insgesamt verfügbarer Speicher (VRAM + Systemspeicher) die Größe der quantisierten Modelldatei, die Sie herunterladen, übersteigt. Wenn nicht, kann llama.cpp immer noch über SSD/HDD-Offloading ausgeführt werden, aber die Inferenz wird langsamer. {% endhint %} ### Empfohlene Einstellungen MiniMax empfiehlt, die folgenden Parameter für die beste Leistung zu verwenden: `temperature=1.0`, `top_p = 0.95`, `top_k = 40`. {% columns %} {% column %} | Standardeinstellungen (die meisten Aufgaben) | | -------------------------------------------- | | `temperature = 1.0` | | `top_p = 0.95` | | `top_k = 40` | | {% endcolumn %} | {% column %} * **Maximales Kontextfenster:** `196,608` * Standard-System-Prompt: {% code overflow="wrap" %} ``` Du bist ein hilfreicher Assistent. Dein Name ist MiniMax-M2.7 und du wurdest von MiniMax entwickelt. ``` {% endcode %} {% endcolumn %} {% endcolumns %} ## MiniMax-M2.7-Anleitungen ausführen: Um MiniMax-M2.7 auf einem Gerät mit 128 GB RAM zum Laufen zu bringen, verwenden wir die 4-Bit- [`UD-IQ4_XS` Quant](https://huggingface.co/unsloth/MiniMax-M2.7-GGUF?show_file_info=UD-IQ4_XS%2FMiniMax-M2.7-UD-IQ4_XS-00001-of-00004.gguf). Du kannst MiniMax-M2.7 jetzt in [llama.cpp](#run-in-llama.cpp) und [Unsloth Studio](#run-in-unsloth-studio). {% hint style="warning" %} Verwende NICHT CUDA 13.2, um irgendein Modell auszuführen, da es Kauderwelsch oder schlechte Ausgaben verursachen kann. NVIDIA arbeitet an einer Lösung. {% endhint %} ### 🦥 In Unsloth Studio ausführen MiniMax-M2.7 kann jetzt in [Unsloth Studio](/docs/de/neu/studio.md), unserer neuen Open-Source-Web-UI für lokale KI, ausgeführt und trainiert werden. Unsloth Studio ermöglicht es Ihnen, Modelle lokal auf **macOS, Windows**, Linux und: {% columns %} {% column %} * Suchen, herunterladen, [GGUFs ausführen](/docs/de/neu/studio.md#run-models-locally) und Safetensor-Modelle * [**Selbstheilend** Tool-Aufrufe](/docs/de/neu/studio.md#execute-code--heal-tool-calling) + **Websuche** * [**Codeausführung**](/docs/de/neu/studio.md#run-models-locally) (Python, Bash) * [Automatische Inferenz](https://unsloth.ai/docs/desktop#feature-deep-dive) Abstimmung der Parameter (Temp., Top-p usw.) * Verwendet llama.cpp für schnelle CPU- + GPU-Inferenz und CPU-Offloading {% endcolumn %} {% column %}
{% endcolumn %} {% endcolumns %} {% stepper %} {% step %} #### Unsloth installieren Führen Sie dies in Ihrem Terminal aus: **macOS, Linux, WSL:** ```bash curl -fsSL https://unsloth.ai/install.sh | sh ``` **Windows PowerShell:** ```bash irm https://unsloth.ai/install.ps1 | iex ``` {% endstep %} {% step %} #### Unsloth starten **macOS, Linux, WSL und Windows:** ```bash unsloth studio -H 0.0.0.0 -p 8888 ``` **Dann öffnen Sie `http://localhost:8888` in Ihrem Browser.** {% endstep %} {% step %} #### MiniMax-M2.7 suchen und herunterladen Beim ersten Start musst du ein Passwort erstellen, um dein Konto zu sichern, und dich später erneut anmelden. Dann siehst du einen kurzen Einrichtungsassistenten, um ein Modell, einen Datensatz und grundlegende Einstellungen auszuwählen. Du kannst ihn jederzeit überspringen. Sie können `UD-IQ4_XS` (dynamische 4-Bit-Quant) oder andere quantisierte Versionen wie `UD-Q4_K_XL` . Wenn Downloads hängen bleiben, siehe [Hugging Face Hub, XET-Debugging](/docs/de/grundlagen/troubleshooting-and-faqs/hugging-face-hub-xet-debugging.md) Gehen Sie dann zum [Unsloth Chat](/docs/de/neu/studio/chat.md) Registerkarte und suche in der Suchleiste nach MiniMax-M2.7 und lade das gewünschte Modell und die gewünschte Quantisierung herunter. Aufgrund der Größe wird der Download einige Zeit dauern, bitte warte also. Um schnelle Inferenz zu gewährleisten, stelle sicher, dass du [genügend RAM/VRAM](#usage-guide), andernfalls funktioniert die Inferenz weiterhin, aber Unsloth lagert auf Ihre CPU aus.
{% endstep %} {% step %} #### MiniMax-M2.7 ausführen Die Inferenzparameter sollten bei der Verwendung von Unsloth Studio automatisch gesetzt werden, Sie können sie jedoch weiterhin manuell ändern. Sie können auch die Kontextlänge, das Chat-Template und andere Einstellungen bearbeiten. Für weitere Informationen können Sie unseren [Inferenzleitfaden für Unsloth Studio](/docs/de/neu/studio/chat.md). {% endstep %} {% endstepper %} ### ✨ In llama.cpp ausführen {% hint style="warning" %} Verwende NICHT CUDA 13.2, um irgendein Modell auszuführen, da es Kauderwelsch oder schlechte Ausgaben verursachen kann. NVIDIA arbeitet an einer Lösung. {% endhint %} {% stepper %} {% step %} Holen Sie sich die neueste `llama.cpp` auf [hier auf GitHub](https://github.com/ggml-org/llama.cpp). Sie können auch die folgenden Build-Anweisungen befolgen. Ändern Sie `-DGGML_CUDA=ON` zu `-DGGML_CUDA=OFF` wenn Sie keine GPU haben oder nur CPU-Inferenz möchten. **Für Apple-Mac-/Metal-Geräte**, setzen Sie `-DGGML_CUDA=OFF` und fahren Sie dann wie gewohnt fort – Metal-Unterstützung ist standardmäßig aktiviert. {% code overflow="wrap" %} ```bash apt-get update apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y git clone https://github.com/ggml-org/llama.cpp cmake llama.cpp -B llama.cpp/build \\ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpp ``` {% endcode %} {% endstep %} {% step %} Wenn Sie `llama.cpp` direkt, um Modelle zu laden, kannst du Folgendes tun: (:IQ4\_XS) ist der Quantisierungstyp. Du kannst auch über Hugging Face herunterladen (Punkt 3). Das ist ähnlich wie `ollama run` . Verwenden Sie `export LLAMA_CACHE="folder"` um zu erzwingen `llama.cpp` um an einem bestimmten Ort zu speichern. Denken Sie daran, dass das Modell nur eine maximale Kontextlänge von 200K hat. Befolgen Sie dies für **die meisten Standardeinstellungen** Anwendungsfälle: ```bash export LLAMA_CACHE="unsloth/MiniMax-M2.7-GGUF" ./llama.cpp/llama-cli \\ -hf unsloth/MiniMax-M2.7-GGUF:UD-IQ4_XS \\ --temp 1.0 \\ --top-p 0.95 \\ --top-k 40 ``` {% endstep %} {% step %} Lade das Modell herunter (nach der Installation von `pip install huggingface_hub hf_transfer`). Du kannst UD-IQ4\_XS (dynamische 4-Bit-Quant) oder andere quantisierte Versionen wie wählen `UD-Q6_K_XL` . Wir empfehlen die Verwendung unserer 4-Bit-Dynamik-Quant UD-IQ4\_XS, um Größe und Genauigkeit auszubalancieren. Wenn Downloads hängen bleiben, siehe [Hugging Face Hub, XET-Debugging](/docs/de/grundlagen/troubleshooting-and-faqs/hugging-face-hub-xet-debugging.md) ```bash hf download unsloth/MiniMax-M2.7-GGUF \\ --local-dir unsloth/MiniMax-M2.7-GGUF \\ --include "*UD-IQ4_XS*" # Verwende "*Q8_0*" für 8-Bit ``` {% endstep %} {% step %} Du kannst `--threads 32` für die Anzahl der CPU-Threads, `--ctx-size 16384` für die Kontextlänge, `--n-gpu-layers 2` für GPU-Offloading auf wie viele Layer. Versuche, ihn anzupassen, wenn deiner GPU der Speicher ausgeht. Entferne ihn auch, wenn du nur CPU-Inferenz hast. {% code overflow="wrap" %} ```bash ./llama.cpp/llama-cli \\ --model unsloth/MiniMax-M2.7-GGUF/UD-IQ4_XS/MiniMax-M2.7-UD-IQ4_XS-00001-of-00004.gguf \\ --temp 1.0 \\ --top-p 0.95 \\ --top-k 40 ``` {% endcode %} {% endstep %} {% endstepper %} #### 🦙 Llama-Server & OpenAIs Completion-Bibliothek Um MiniMax-M2.7 für die Produktion bereitzustellen, verwenden wir `llama-server` oder die OpenAI-API. Sage in einem neuen Terminal, z. B. via tmux, das Modell bereitstellen über: {% code overflow="wrap" %} ```bash ./llama.cpp/llama-server \\ --model unsloth/MiniMax-M2.7-GGUF/UD-IQ4_XS/MiniMax-M2.7-UD-IQ4_XS-00001-of-00004.gguf \\ --alias "unsloth/MiniMax-M2.7" \\ --prio 3 \\ --temp 1.0 \\ --top-p 0.95 \\ --min-p 0.01 \\ --top-k 40 \ --port 8001 ``` {% endcode %} Dann in einem neuen Terminal, nachdem du `pip install openai`, mache Folgendes: {% code overflow="wrap" %} ```python from openai import OpenAI import json openai_client = OpenAI( base_url = "http://127.0.0.1:8001/v1", api_key = "sk-no-key-required", ) completion = openai_client.chat.completions.create( Modell = "unsloth/MiniMax-M2.7", messages = [{"role": "user", "content": "Erstelle ein Snake-Spiel."},], ) print(completion.choices[0].message.content) ``` {% endcode %} ## 📊 Benchmarks ### GGUF-Benchmarks Unten sind KLD-99%-Benchmarks für MiniMax-M2.7. Unten links ist besser:
Da MiniMax-M2.7 dieselbe Architektur wie MiniMax-M2.5 nutzt, sollten die GGUF-Quantisierungsbenchmarks für M2.7 denen von M2.5 sehr ähnlich sein. Daher verweisen wir auch auf den früheren Quantisierungs-Benchmark, der für M2.5 durchgeführt wurde:
[Benjamin Marie (Drittanbieter) benchmarkte](https://x.com/bnjmn_marie/status/2027043753484021810/photo/1) **MiniMax-M2.5** mit **Unsloth-GGUF-Quantisierungen** auf einem **750-Prompt-Mixed-Suite** (LiveCodeBench v6, MMLU Pro, GPQA, Math500) und berichtete sowohl **Gesamtgenauigkeit** und **relative Fehlerzunahme** (wie viel häufiger das quantisierte Modell Fehler macht als das Original). Unsloth-Quants schneiden unabhängig von ihrer Präzision bei Genauigkeit und relativem Fehler deutlich besser ab als ihre Nicht-Unsloth-Pendants (obwohl sie 8 GB kleiner sind). **Wichtigste Ergebnisse:** * **Bester Kompromiss aus Qualität und Größe hier: `unsloth UD-Q4_K_XL`.**\ Es kommt dem Original am nächsten: nur **6,0 Punkte** niedriger, und „nur“ **+22.8%** mehr Fehler als die Baseline. * **Andere Unsloth-Q4-Quants schneiden eng beieinander ab (\~64,5–64,9 Genauigkeit).**\ `IQ4_NL`, `MXFP4_MOE`, und `UD-IQ2_XXS` sind bei diesem Benchmark im Wesentlichen von derselben Qualität, mit **\~33–35 %** mehr Fehlern als das Original. * Unsloth-GGUFs schneiden deutlich besser ab als andere Nicht-Unsloth-GGUFs, z. B. siehe `lmstudio-community - Q4_K_M` (obwohl sie 8 GB kleiner sind) und `AesSedai - IQ3_S`. ### Offizielle Benchmarks
--- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation by asking a question. Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters: ``` GET https://unsloth.ai/docs/de/modelle/tutorials/minimax-m27.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.