> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/modelle/muse-glimmer.md). # Muse Glimmer - So führst du es lokal aus Muse Glimmer ist Metas neues Open-Weight **30B** Parameter **dichtes Vision-Modell**, entwickelt für lokale agentische und Coding-Workflows. Es ist das erste offene Modell von Meta Superintelligence Labs und wird unter der **Apache 2.0** Lizenz veröffentlicht. Dieser Leitfaden behandelt das Ausführen von Muse Glimmer 30B mit **Unsloth Dynamic** Quants für maximale Leistung. {% columns %} {% column %} Muse Glimmer 30B läuft lokal auf **18 GB RAM/VRAM** -Setups, einschließlich Mac- und GPU/CPU-Systemen. Sie können **ausführen** oder **Muse Glimmer mit** [**Unsloth**](#unsloth-guide). Wir haben mit Meta und Hugging Face an der llama.cpp-Inferenzimplementierung zusammengearbeitet. Vielen Dank an Meta für die Bereitstellung der Unsloth-Unterstützung ab Tag eins. Muse Glimmer-Tutorials ausführenMuse Glimmer feinabstimmen {% endcolumn %} {% column %}

2-Bit-Muse Glimmer läuft in Unsloth

{% endcolumn %} {% endcolumns %} ### Nutzungsleitfaden Muse Glimmer kann mehrstufige Aufgaben planen, sequentielle Tool-Aufrufe ausführen, sich von Fehlern erholen, sich an veränderte Bedingungen anpassen, Laufzeitgedächtnis verwenden und die Arbeit über lang laufende Sitzungen hinweg fortsetzen, wenn der Zustand gespeichert wird. Diese Persistenz stammt vom Agenten-Harness, nicht vom Modell. Mit **Vision-Unterstützung**, ist Muse Glimmer ideal für multimodale Workflows. #### Hardwareanforderungen Muse Glimmer 30B verwendet etwa **58 GB für BF16-Gewichte mit voller Präzision.** Unsloth Dynamic quants versucht, durch Quantisierung so viel Genauigkeit wie möglich wiederherzustellen, sodass Muse Glimmer 30B auf kleineren Geräten wie RTX 5090s und so weiter laufen kann. **Tabelle: Empfohlene Hardwareanforderungen für die Muse Glimmer 30B Inferenz GGUF** (Einheiten = Gesamtspeicher: RAM + VRAM oder einheitlicher Speicher). | 2-Bit | 3-Bit | 4-Bit | 6-Bit | 8-Bit | | -------- | -------- | ----- | -------- | ----- | | 12-14 GB | 14-15 GB | 17 GB | 20-22 GB | 34 GB | **Detaillierte Anforderungstabelle:** | Quantisierung | Empfohlener RAM/VRAM: | Hardwarebeispiele | | ----------------------------- | --------------------- | ------------------------- | | 2-Bit (`UD-Q2_K_XL`) | 12-14+ GB | RTX 4080 | | 3-Bit (`UD-Q3_K_XL`) | 14-15 GB+ | RTX 4090 | | 4-Bit (`UD-Q4_K_XL`, `NVFP4`) | 17 GB+ | **Mac 32 GB** | | 6-Bit (`UD-Q6_K_XL`) | 20-22 GB+ | **RTX 5090, Mac 48 GB** | | 8-Bit (`UD-Q8_K_XL`) | 34 GB+ | **Mac 128 GB, DGX Spark** | | BF16 (volle Präzision) | 58 GB+ | **Mac 128 GB, DGX Spark** | {% hint style="info" %} Als Faustregel sollte Ihr insgesamt verfügbarer Speicher die Größe des quantisierten Modells, das Sie herunterladen, mindestens überschreiten. Falls nicht, kann llama.cpp weiterhin mit teilweisem RAM-/Datenträger-Offload laufen, die Generierung wird jedoch langsamer sein. Je nach verwendetem Kontextfenster benötigen Sie außerdem mehr Rechenleistung. {% endhint %} #### Empfohlene Einstellungen Es wird empfohlen, Metas Standardparameter für Muse Glimmer zu verwenden: * `temperature = 1.0` * `top_p = 0.95` * `top_k = 64` Maximale Kontextlänge: `131,072` (Standard) bis zu `262,144` #### Denkeinstellungen Muse Glimmer unterstützt steuerbare Reasoning-Aufwände, einschließlich: * niedrig * mittel * hoch * extra hoch ## Muse Glimmer-Tutorials ausführen Da quantisiertes Muse Glimmer 30B in mehreren Größen vorliegt, ist der empfohlene Ausgangspunkt für die Modelle [**Dynamic**](/docs/de/grundlagen/dynamic-3.0-ggufs.md) **4-Bit (UD** . Muse Glimmer 30B[ GGUFs](https://huggingface.co/unsloth/Muse-Glimmer-30B-GGUF). 🦥 Unsloth-Anleitung🦙 Llama.cpp-Anleitung ### 🦥 Unsloth-Anleitung Muse Glimmer 30B kann jetzt in Unsloth Desktop, unserer neuen Open-Source-Desktop-App für lokale KI, ausgeführt und feinabgestimmt werden. Mit Unsloth können Sie Modelle lokal auf **macOS, Windows**, Linux und: {% columns %} {% column %} * Suchen, herunterladen, [GGUFs ausführen](/docs/de/neu/studio.md#run-models-locally) und Safetensor-Modelle * [**Selbstheilung** Tool-Aufrufe](/docs/de/neu/studio.md#execute-code--heal-tool-calling) + **Websuche** * [**Codeausführung**](/docs/de/neu/studio.md#run-models-locally) (Python, Bash) * [Automatische Inferenz](https://unsloth.ai/docs/desktop#feature-deep-dive) Parameter-Tuning (Temp, Top-P usw.) * Schnelle CPU- und GPU-Inferenz über llama.cpp * [LLMs trainieren](/docs/de/neu/studio.md#no-code-training) 2x schneller mit 70 % weniger VRAM {% endcolumn %} {% column %}
{% endcolumn %} {% endcolumns %} {% stepper %} {% step %} #### Unsloth installieren **Unsloth läuft auf** [**macOS**](/docs/de/erste-schritte/install/mac.md)**,** [**Windows**](/docs/de/erste-schritte/install/windows-installation.md)**, und** [**Linux**](/docs/de/erste-schritte/install/linux.md)**.** Unsloth herunterladen Oder für die manuelle Installation: MacOS, Linux, WSL: ```bash curl -fsSL https://unsloth.ai/install.sh | sh ``` Windows PowerShell: ```bash irm https://unsloth.ai/install.ps1 | iex ``` {% endstep %} {% step %} #### Unsloth starten und Muse Glimmer suchen und herunterladen Gehen Sie beim ersten Start zum Tab „Model hub“, suchen Sie in der Suchleiste nach Muse Glimmer und laden Sie Ihr gewünschtes Modell und Ihre gewünschte Quantisierung herunter. {% endstep %} {% step %} #### Muse Glimmer ausführen Die Inferenzparameter sollten bei Verwendung von Unsloth Desktop automatisch gesetzt werden; Sie können sie jedoch weiterhin manuell ändern. Sie können auch die Kontextlänge, die Chatvorlage und andere Einstellungen bearbeiten. Sie können GGUF- und MLX-Dateien ausführen. Weitere Informationen finden Sie in unserem [Unsloth-Inferenzleitfaden](/docs/de/neu/studio/chat.md).
{% endstep %} {% endstepper %} ### 🦙 Llama.cpp-Anleitung Für diesen Leitfaden verwenden wir Dynamic 4-Bit für Muse Glimmer 30B. Siehe: [Muse Glimmer 30B-Sammlung](https://huggingface.co/collections/unsloth/muse-glimmer) {% stepper %} {% step %} Holen Sie sich das neueste `llama.cpp` **auf** [**GitHub hier**](https://github.com/ggml-org/llama.cpp). Sie können auch die Build-Anweisungen unten befolgen. Ändern Sie `-DGGML_CUDA=ON` zu `-DGGML_CUDA=OFF` wenn Sie keine GPU haben oder nur CPU-Inferenz möchten. **Für Apple Mac / Metal-Geräte**, setzen Sie `-DGGML_CUDA=OFF` und fahren Sie dann wie gewohnt fort – Metal-Unterstützung ist standardmäßig aktiviert. ```bash apt-get update apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y git clone https://github.com/ggml-org/llama.cpp cmake llama.cpp -B llama.cpp/build \\ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpp ``` {% endstep %} {% step %} Wenn Sie `llama.cpp` direkt zum Laden von Modellen verwenden möchten, können Sie den untenstehenden Befehlen entsprechend jedem Modell folgen. `UD-Q4_K_XL` ist der Quantisierungstyp. Sie können auch über Hugging Face herunterladen (Schritt 3). Dies ist ähnlich wie `ollama run` . Verwenden Sie `export LLAMA_CACHE="folder"` um `llama.cpp` zu erzwingen, an einem bestimmten Speicherort zu speichern. Es ist nicht erforderlich, die Kontextlänge festzulegen, da llama.cpp automatisch die genau erforderliche Menge verwendet. ```bash export LLAMA_CACHE="unsloth/Muse-Glimmer-30B-GGUF" ./llama.cpp/llama-cli \\ -hf unsloth/Muse-Glimmer-30B-GGUF:UD-Q4_K_XL \\ --temp 1.0 \\ --top-p 0.95 \\ --top-k 64 ``` {% endstep %} {% step %} Sie können das Modell auch manuell über den untenstehenden Code herunterladen (nach der Installation von `pip install huggingface_hub`). Sie können `UD-Q4_K_XL` oder andere quantisierte Versionen wie `Q8_0` . Wenn Downloads hängen bleiben, siehe: [Debugging für Hugging Face Hub, XET](/docs/de/grundlagen/troubleshooting-and-faqs/hugging-face-hub-xet-debugging.md) ```bash hf download unsloth/Muse-Glimmer-30B-GGUF \\ --local-dir unsloth/Muse-Glimmer-30B-GGUF \\ --include "*mmproj-BF16*" \\ --include "*UD-Q4_K_XL*" # Verwenden Sie "*UD-Q2_K_XL*" für Dynamic 2bit ``` {% endstep %} {% step %} Dann führen Sie das Modell im Konversationsmodus aus (mit Vision `mmproj-F16`): {% code overflow="wrap" %} ```bash ./llama.cpp/llama-cli \\ --model unsloth/Muse-Glimmer-30B-GGUF/Muse-Glimmer-30B-UD-Q4_K_XL.gguf \\ --mmproj unsloth/Muse-Glimmer-30B-GGUF/mmproj-BF16.gguf \\ --temp 1.0 \\ --top-p 0.95 \\ --top-k 64 ``` {% endcode %} {% endstep %} {% step %} #### Bereitstellung über llama-server Um Muse Glimmer 30B auf llama-server bereitzustellen, verwenden Sie: ```bash ./llama.cpp/llama-server \\ --model unsloth/Muse-Glimmer-30B-GGUF/Muse-Glimmer-30B-UD-Q4_K_XL.gguf \\ --mmproj unsloth/Muse-Glimmer-30B-GGUF/mmproj-BF16.gguf \\ --temp 1.0 \\ --top-p 0.95 \\ --top-k 64 \\ --alias "unsloth/Muse-Glimmer-30B-GGUF" \\ --port 8001 ``` {% endstep %} {% endstepper %} ### :wrench: Feinabstimmen Sie können Metas Muse Glimmer-30B jetzt mit [Unsloth](https://github.com/unslothai/unsloth) auf einer **24-GB-Karte**! Muse Glimmer ist ein multimodales agentisches Modell mit 30B Parametern, optimiert für die lokale Bereitstellung. Wir stellen mehrere Kaggle-Notebooks bereit, die Ihnen 30 Stunden kostenlos mit 2x Tesla T4 GPUs bieten! {% columns %} {% column %} Muse Glimmer Vision Kaggle {% embed url="" %} {% endcolumn %} {% column %} Muse Glimmer Conversational Kaggle {% embed url="" %} {% endcolumn %} {% endcolumns %} ### Benchmarks
| Kategorie | Benchmark | Muse Glimmer-30B mit hohem Reasoning | Gemma4-31B Denkmodus | Qwen3.6-27B Denkmodus | | ----------------------------------------------- | --------------------------------- | :---------------------------------------------------: | :-------------------------------------------------------------------------: | :-----------------------------------------------: | | *Allgemein agentisch* | MCP Atlas (öffentlich) | **75.5** | 54.2 | 62.5 | | | DeepSearch QA | **74.6** | 61.7 | 71.1 | | | 𝛕3-Banking | **23.5** | 15.1 | 16.7 | | | WildClawBench | **47.6** | 37.6 | 43.2 | | | GDPVal-AA v2 | 953 | 811 | **1141** | | | Gaia2 | **43.3** | 36.4 | 40.0 | | | SkillsBench (mit Skills) | 44.3 | 32.4 | **46.6** | | | OSWorld-Verified | 65.9 | 58.5 | **75.6** | | *Agentisches Coding* | SWE-Bench Pro | **51.2** | 36.9 | 50.2 | | | SWE-Bench Verified | 76.0 | 66.6 | **77.2** | | | TerminalBench 2.1 (mit terminus2) | 51.7 | 43.4 | **60.7** | | | SciCode | **43.6** | 43.4 | 39.8 | | *Multimodal* | Charxiv Reasoning | **78.8** | 77.7 | 78.4 | | | ScreenSpot Pro | 75.4 | 75.9 | **76.1** | | | OmniDocBench v1.5 | 75.8 | 72.5 | **77.8** | | | MMMU Pro | 74 | 73 | **75** | | | | | | | | *Sicherheit* | CI Memories | Verstoß (↓): 26.4\nAbdeckung: 64.8 |

Verstoß (↓): 12.1
Abdeckung: 53.0

| Verstoß (↓): 53.4\nAbdeckung: **66.9** | | | Siren AgentDojo | Angriffserfolgsrate (↓): 28.4\nNützlichkeit: **94.2** |

Angriffserfolgsrate (↓): 25.6
Nützlichkeit: 90.8

| Angriffserfolgsrate (↓): 40.3\nNützlichkeit: 92.7 | | | | | | | | *Allgemeine Fähigkeiten und Schlussfolgerungen* | IFBench | **77.0** | 76.0 | 70.8 | | | AIME 2026 | **94.7** | 89.2 | 94.1 | | | GPQA Diamond (AA) | 83.5 | **85.7** | 84.2 | | | HLE Text (AA) | 22.0 | **23.6** | 23.1 | | | AA-LCR | **80.0** | 68.3 | 73.3 | | | Beam128K | **65.1** | 58.2 | 63.0 | --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter: ``` GET https://unsloth.ai/docs/de/modelle/muse-glimmer.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.