> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/modelle/muse-glimmer.md). # Muse Glimmer – Wie man lokal ausführt Erfahre, wie du das neue Muse Glimmer 30B-Modell von Meta ausführst. Muse Glimmer ist Metas neues Open-Weight **30B** Parameter **dichtes Vision-Modell**, entworfen für lokale agentische und Coding-Workflows. Es ist das erste offene Modell von Meta Superintelligence Labs und wird unter der **Apache 2.0** Lizenz veröffentlicht. Dieser Leitfaden behandelt das Ausführen von Muse Glimmer 30B mit **Unsloth Dynamic** Quantisierungen für maximale Leistung. {% columns %} {% column %} Muse Glimmer 30B läuft lokal auf **18GB RAM/VRAM** Setups, einschließlich Mac- und GPU/CPU-Systemen. Sie können **ausführen** oder **Muse Glimmer mit** [**Unsloth**](#unsloth-guide). Wir haben mit Meta und Hugging Face an der llama.cpp-Inferenzimplementierung zusammengearbeitet. Vielen Dank an Meta für die Unterstützung von Unsloth ab Tag 0. Muse Glimmer-Tutorials ausführenMuse Glimmer feinabstimmen {% endcolumn %} {% column %}

2-Bit-Muse Glimmer läuft in Unsloth

{% endcolumn %} {% endcolumns %} ### Nutzungsleitfaden Muse Glimmer kann mehrstufige Aufgaben planen, sequentielle Tool-Aufrufe ausführen, sich von Fehlern erholen, sich an veränderte Bedingungen anpassen, Laufzeitgedächtnis verwenden und die Arbeit über lang laufende Sitzungen hinweg fortsetzen, wenn der Zustand gespeichert wird. Diese Persistenz stammt vom Agent-Framework, nicht vom Modell. Mit **Vision-Unterstützung**, ist Muse Glimmer ideal für multimodale Workflows. #### Hardwareanforderungen Muse Glimmer 30B verwendet etwa **58 GB für BF16-Gewichte mit voller Präzision.** Unsloth Dynamic-Quantisierungen versuchen, durch Quantisierung möglichst viel Genauigkeit wiederherzustellen, sodass Muse Glimmer 30B auf kleineren Geräten wie RTX 5090 usw. laufen kann. **Tabelle: Empfohlene Hardwareanforderungen für die GGUF-Inferenz von Muse Glimmer 30B** (Einheiten = Gesamtspeicher: RAM + VRAM oder Unified Memory). | 2-Bit | 3-Bit | 4-Bit | 6-Bit | 8-Bit | | -------- | -------- | ----- | -------- | ----- | | 12-14 GB | 14-15 GB | 17 GB | 20-22 GB | 34 GB | **Detaillierte Anforderungstabelle:** | Quantisierung | Empfohlenes RAM/VRAM: | Hardwarebeispiele | | ----------------------------- | --------------------- | ------------------------ | | 2-Bit (`UD-Q2_K_XL`) | 12-14+ GB | RTX 4080 | | 3-Bit (`UD-Q3_K_XL`) | 14-15 GB+ | RTX 4090 | | 4-Bit (`UD-Q4_K_XL`, `NVFP4`) | 17 GB+ | **Mac 32GB** | | 6-Bit (`UD-Q6_K_XL`) | 20-22 GB+ | **RTX 5090, Mac 48GB** | | 8-Bit (`UD-Q8_K_XL`) | 34 GB+ | **Mac 128GB, DGX Spark** | | BF16 (volle Präzision) | 58 GB+ | **Mac 128GB, DGX Spark** | {% hint style="info" %} Als Faustregel sollte Ihr gesamter verfügbarer Speicher mindestens die Größe des heruntergeladenen quantisierten Modells übersteigen. Ist das nicht der Fall, kann llama.cpp weiterhin mit teilweisem RAM-/Festplatten-Offloading ausgeführt werden, die Generierung wird jedoch langsamer sein. Außerdem benötigen Sie je nach verwendetem Kontextfenster mehr Rechenleistung. {% endhint %} #### Empfohlene Einstellungen Es wird empfohlen, Metas Standardparameter für Muse Glimmer zu verwenden: * `temperature = 1.0` * `top_p = 0.95` * `top_k = 64` Maximale Kontextlänge: `131,072` (Standard) bis zu `262,144` #### Denk-Einstellungen Muse Glimmer unterstützt steuerbare Denkaufwände, darunter: * niedrig * mittel * hoch * xhoch ## Muse Glimmer-Tutorials ausführen Da quantisiertes Muse Glimmer 30B in mehreren Größen vorliegt, ist der empfohlene Ausgangspunkt für die Modelle [**Dynamisch**](/docs/de/grundlagen/dynamic-3.0-ggufs.md) **4-Bit (UD** . Muse Glimmer 30B[ GGUFs](https://huggingface.co/unsloth/Muse-Glimmer-30B-GGUF). 🦥 Unsloth-Leitfaden🦙 Llama.cpp-Leitfaden ### 🦥 Unsloth-Leitfaden Muse Glimmer 30B kann jetzt in Unsloth Desktop, unserer neuen Open-Source-Desktop-App für lokale KI, ausgeführt und feinabgestimmt werden. Unsloth ermöglicht es Ihnen, Modelle lokal auf **macOS, Windows**, Linux und: {% columns %} {% column %} * Suchen, herunterladen, [GGUFs ausführen](/docs/de/neu/studio.md#run-models-locally) und Safetensor-Modelle * [**Selbstheilend** Tool-Aufrufe](/docs/de/neu/studio.md#execute-code--heal-tool-calling) + **Websuche** * [**Codeausführung**](/docs/de/neu/studio.md#run-models-locally) (Python, Bash) * [Automatische Inferenz](https://unsloth.ai/docs/desktop#feature-deep-dive) Abstimmung der Parameter (Temp., Top-p usw.) * Schnelle CPU- + GPU-Inferenz über llama.cpp * [LLMs trainieren](/docs/de/neu/studio.md#no-code-training) 2x schneller mit 70 % weniger VRAM {% endcolumn %} {% column %}
{% endcolumn %} {% endcolumns %} {% stepper %} {% step %} #### Unsloth installieren **Unsloth läuft auf** [**macOS**](/docs/de/loslegen/install/mac.md)**,** [**Windows**](/docs/de/loslegen/install/windows-installation.md)**, und** [**Linux**](/docs/de/loslegen/install/linux.md)**.** Unsloth herunterladen Oder für die manuelle Installation: macOS, Linux, WSL: ```bash curl -fsSL https://unsloth.ai/install.sh | sh ``` Windows PowerShell: ```bash irm https://unsloth.ai/install.ps1 | iex ``` {% endstep %} {% step %} #### Unsloth starten und Muse Glimmer suchen und herunterladen Beim ersten Start wechseln Sie zum Tab Model Hub und suchen Sie in der Suchleiste nach Muse Glimmer und laden Sie Ihr gewünschtes Modell und Ihre gewünschte Quantisierung herunter. {% endstep %} {% step %} #### Muse Glimmer ausführen Die Inferenzparameter sollten bei Verwendung von Unsloth Desktop automatisch gesetzt werden, Sie können sie jedoch weiterhin manuell ändern. Sie können auch die Kontextlänge, die Chat-Vorlage und andere Einstellungen bearbeiten. Sie können GGUFs und MLX-Dateien ausführen. Für weitere Informationen können Sie unseren [Unsloth-Inferenzleitfaden](/docs/de/neu/studio/chat.md).
{% endstep %} {% step %} #### Muse Glimmer mit der Unsloth-API bereitstellen Sie können `unsloth run` Befehl und stellen Sie Muse Glimmer über eine API mithilfe von `llama-server` Laufzeit-Flags, einschließlich Kontextgröße, GPU-Ebenen, Threading, Sampling, Netzwerk und Werkzeugkonfiguration. Weitere Informationen finden Sie in unserer [API-Dokumentation](/docs/de/grundlagen/api.md) oder [unsloth start](/docs/de/integrationen/unsloth-start.md). ```bash unsloth run --model unsloth/Muse-Glimmer-30B-GGUF:UD-Q4_K_XL ``` {% endstep %} {% step %} #### Unsloth ist jetzt bereit Sie können mit Muse Glimmer über Unsloth Desktop auch viele andere Dinge tun, wie zum Beispiel: * **Tools verbinden:** [Claude Code](/docs/de/grundlagen/claude-code.md), [Codex](/docs/de/grundlagen/codex.md), [Websuche](/docs/de/neu/studio/chat.md#advanced-web-search), [MCP](/docs/de/grundlagen/mcp.md) und mehr * **Modelle trainieren:** Text, Diffusion feinabstimmen, [Embedding](/docs/de/grundlagen/embedding-finetuning.md)und mehr * **Medien generieren:** Erstellen und trainieren [Bilder](/docs/de/grundlagen/diffusion-image.md), Video, [TTS](/docs/de/grundlagen/text-to-speech-tts-fine-tuning.md) lokal {% endstep %} {% endstepper %} ### 🦙 Llama.cpp-Leitfaden Für diesen Leitfaden verwenden wir Dynamic 4-Bit für Muse Glimmer 30B. Siehe: [Muse Glimmer 30B-Sammlung](https://huggingface.co/collections/unsloth/muse-glimmer) {% stepper %} {% step %} Holen Sie sich die neueste `llama.cpp` **auf** [**hier auf GitHub**](https://github.com/ggml-org/llama.cpp). Sie können auch die folgenden Build-Anweisungen befolgen. Ändern Sie `-DGGML_CUDA=ON` zu `-DGGML_CUDA=OFF` wenn Sie keine GPU haben oder nur CPU-Inferenz möchten. **Für Apple-Mac-/Metal-Geräte**, setzen Sie `-DGGML_CUDA=OFF` und fahren Sie dann wie gewohnt fort – Metal-Unterstützung ist standardmäßig aktiviert. ```bash apt-get update apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y git clone https://github.com/ggml-org/llama.cpp cmake llama.cpp -B llama.cpp/build \\ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpp ``` {% endstep %} {% step %} Wenn Sie `llama.cpp` um Modelle direkt zu laden, können Sie die folgenden Befehle je nach Modell befolgen. `UD-Q4_K_XL` ist der Quantisierungstyp. Sie können auch über Hugging Face herunterladen (Schritt 3). Dies ist ähnlich wie `ollama run` . Verwenden Sie `export LLAMA_CACHE="folder"` um zu erzwingen `llama.cpp` an einem bestimmten Ort zu speichern. Es ist nicht nötig, die Kontextlänge festzulegen, da llama.cpp automatisch die exakt benötigte Menge verwendet. ```bash export LLAMA_CACHE="unsloth/Muse-Glimmer-30B-GGUF" ./llama.cpp/llama-cli \\ -hf unsloth/Muse-Glimmer-30B-GGUF:UD-Q4_K_XL \\ --temp 1.0 \\ --top-p 0.95 \\ --top-k 64 ``` {% endstep %} {% step %} Sie können das Modell auch manuell über den untenstehenden Code herunterladen (nach der Installation von `pip install huggingface_hub`). Sie können `UD-Q4_K_XL` oder andere quantisierte Versionen wie `Q8_0` wählen. Falls Downloads hängen bleiben, siehe: [Hugging Face Hub, XET-Debugging](/docs/de/grundlagen/troubleshooting-and-faqs/hugging-face-hub-xet-debugging.md) ```bash hf download unsloth/Muse-Glimmer-30B-GGUF \\ --local-dir unsloth/Muse-Glimmer-30B-GGUF \\ --include "*mmproj-BF16*" \\ --include "*UD-Q4_K_XL*" # Verwenden Sie "*UD-Q2_K_XL*" für dynamisches 2-Bit ``` {% endstep %} {% step %} Führen Sie das Modell dann im Konversationsmodus aus (mit Vision `mmproj-F16`): {% code overflow="wrap" %} ```bash ./llama.cpp/llama-cli \\ --model unsloth/Muse-Glimmer-30B-GGUF/Muse-Glimmer-30B-UD-Q4_K_XL.gguf \\ --mmproj unsloth/Muse-Glimmer-30B-GGUF/mmproj-BF16.gguf \\ --temp 1.0 \\ --top-p 0.95 \\ --top-k 64 ``` {% endcode %} {% endstep %} {% step %} #### Llama-server-Bereitstellung Um Muse Glimmer 30B auf llama-server bereitzustellen, verwenden Sie: ```bash ./llama.cpp/llama-server \\ --model unsloth/Muse-Glimmer-30B-GGUF/Muse-Glimmer-30B-UD-Q4_K_XL.gguf \\ --mmproj unsloth/Muse-Glimmer-30B-GGUF/mmproj-BF16.gguf \\ --temp 1.0 \\ --top-p 0.95 \\ --top-k 64 \\ --alias "unsloth/Muse-Glimmer-30B-GGUF" \\ --port 8001 ``` {% endstep %} {% endstepper %} ### :wrench: Feinabstimmen Sie können jetzt Metas Muse Glimmer-30B mit [Unsloth](https://github.com/unslothai/unsloth) auf einer **24-GB-Karte**! Muse Glimmer ist ein multimodales agentisches Modell mit 30B Parametern, das für die lokale Bereitstellung optimiert ist. Wir stellen mehrere Kaggle-Notebooks bereit, die 30 Stunden lang kostenlos mit 2x Tesla-T4-GPUs zur Verfügung stehen! {% columns %} {% column %} Muse Glimmer Vision Kaggle {% embed url="" %} {% endcolumn %} {% column %} Muse Glimmer Konversations-Kaggle {% embed url="" %} {% endcolumn %} {% endcolumns %} ### Benchmarks
| Kategorie | Benchmark | Muse Glimmer-30B hohes Reasoning | Gemma4-31B Denkmodus | Qwen3.6-27B Denkmodus | | ----------------------------------------------- | --------------------------------- | :--------------------------------------------------------------------------: | :--------------------------------------------------------------------------: | :-----------------------------------------------------------: | | *Allgemein agentisch* | MCP Atlas (öffentlich) | **75.5** | 54.2 | 62.5 | | | DeepSearch QA | **74.6** | 61.7 | 71.1 | | | 𝛕3-Banking | **23.5** | 15.1 | 16.7 | | | WildClawBench | **47.6** | 37.6 | 43.2 | | | GDPVal-AA v2 | 953 | 811 | **1141** | | | Gaia2 | **43.3** | 36.4 | 40.0 | | | SkillsBench (mit Fähigkeiten) | 44.3 | 32.4 | **46.6** | | | OSWorld-Verified | 65.9 | 58.5 | **75.6** | | *Agentisches Coding* | SWE-Bench Pro | **51.2** | 36.9 | 50.2 | | | SWE-Bench Verified | 76.0 | 66.6 | **77.2** | | | TerminalBench 2.1 (mit terminus2) | 51.7 | 43.4 | **60.7** | | | SciCode | **43.6** | 43.4 | 39.8 | | *Multimodal* | Charxiv Reasoning | **78.8** | 77.7 | 78.4 | | | ScreenSpot Pro | 75.4 | 75.9 | **76.1** | | | OmniDocBench v1.5 | 75.8 | 72.5 | **77.8** | | | MMMU Pro | 74 | 73 | **75** | | | | | | | | *Sicherheit* | CI Memories |

Verstöße (↓): 26.4
Abdeckung: 64.8

|

Verstöße (↓): 12.1
Abdeckung: 53.0

|

Verstöße (↓): 53.4
Abdeckung: 66.9

| | | Siren AgentDojo |

Angriffs-Erfolgsrate (↓): 28.4
Nützlichkeit: 94.2

|

Angriffs-Erfolgsrate (↓): 25.6
Nützlichkeit: 90.8

|

Angriffs-Erfolgsrate (↓): 40.3
Nützlichkeit: 92.7

| | | | | | | | *Allgemeine Fähigkeiten und Schlussfolgerungen* | IFBench | **77.0** | 76.0 | 70.8 | | | AIME 2026 | **94.7** | 89.2 | 94.1 | | | GPQA Diamond (AA) | 83.5 | **85.7** | 84.2 | | | HLE Text (AA) | 22.0 | **23.6** | 23.1 | | | AA-LCR | **80.0** | 68.3 | 73.3 | | | Beam128K | **65.1** | 58.2 | 63.0 | --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation by asking a question. Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters: ``` GET https://unsloth.ai/docs/de/modelle/muse-glimmer.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.