> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/modelle/muse-glimmer.md). # Muse Glimmer - So führst du es lokal aus Erfahre, wie du das neue Modell Muse Glimmer 30B von Meta ausführst. Muse Glimmer ist Metas neues Open-Weight **30B** Parameter **dichtes Vision-Modell**, entwickelt für lokale agentische und Coding-Workflows. Es ist das erste offene Modell von Meta Superintelligence Labs und wird unter der **Apache 2.0** -Lizenz veröffentlicht. Dieser Leitfaden behandelt das Ausführen von Muse Glimmer 30B mit **Unsloth Dynamic** Quants für maximale Leistung. {% columns %} {% column %} Muse Glimmer 30B läuft lokal auf **18 GB RAM/VRAM** -Setups, einschließlich Mac- und GPU/CPU-Systemen. Sie können **ausführen** oder **Muse Glimmer mit** [**Unsloth**](#unsloth-guide). Wir haben mit Meta und Hugging Face an der llama.cpp-Inferenzimplementierung zusammengearbeitet. Vielen Dank an Meta für die Bereitstellung von Day-Zero-Support für Unsloth. Muse Glimmer-Tutorials ausführenMuse Glimmer feinabstimmen {% endcolumn %} {% column %}

2-Bit Muse Glimmer, ausgeführt in Unsloth

{% endcolumn %} {% endcolumns %} ### Verwendungsleitfaden Muse Glimmer kann mehrstufige Aufgaben planen, sequentielle Tool-Aufrufe ausführen, sich von Fehlern erholen, sich an veränderte Bedingungen anpassen, Laufzeitgedächtnis verwenden und die Arbeit über lang laufende Sitzungen hinweg fortsetzen, wenn der Zustand gespeichert wird. Diese Persistenz stammt vom Agenten-Harness, nicht vom Modell. Mit **Vision-Unterstützung**, ist Muse Glimmer ideal für multimodale Workflows. #### Hardwareanforderungen Muse Glimmer 30B benötigt etwa **58 GB für Gewichte in voller Präzision BF16.** Unsloth Dynamic quants versuchen, durch Quantisierung so viel Genauigkeit wie möglich wiederherzustellen, sodass Muse Glimmer 30B auf kleineren Geräten wie RTX 5090s und so weiter passt. **Tabelle: Empfohlene Hardwareanforderungen für die Muse Glimmer 30B Inferenz GGUF** (Einheiten = Gesamtspeicher: RAM + VRAM oder einheitlicher Speicher). | 2-Bit | 3-Bit | 4-Bit | 6-Bit | 8-Bit | | -------- | -------- | ----- | -------- | ----- | | 12-14 GB | 14-15 GB | 17 GB | 20-22 GB | 34 GB | **Detaillierte Anforderungstabelle:** | Quantisierung | Empfohlenes RAM/VRAM: | Hardwarebeispiele | | ----------------------------- | --------------------- | ------------------------ | | 2-Bit (`UD-Q2_K_XL`) | 12-14+ GB | RTX 4080 | | 3-Bit (`UD-Q3_K_XL`) | 14-15 GB+ | RTX 4090 | | 4-Bit (`UD-Q4_K_XL`, `NVFP4`) | 17 GB+ | **Mac 32GB** | | 6-Bit (`UD-Q6_K_XL`) | 20-22 GB+ | **RTX 5090, Mac 48GB** | | 8-Bit (`UD-Q8_K_XL`) | 34 GB+ | **Mac 128GB, DGX Spark** | | BF16 (volle Präzision) | 58 GB+ | **Mac 128GB, DGX Spark** | {% hint style="info" %} Als Faustregel sollte Ihr insgesamt verfügbarer Speicher die Größe des quantisierten Modells, das Sie herunterladen, mindestens übertreffen. Wenn dies nicht der Fall ist, kann llama.cpp weiterhin mit teilweisem RAM-/Festplatten-Offloading ausgeführt werden, die Generierung wird jedoch langsamer sein. Außerdem benötigen Sie je nach dem von Ihnen verwendeten Kontextfenster mehr Rechenleistung. {% endhint %} #### Empfohlene Einstellungen Es wird empfohlen, Metas Standardparameter für Muse Glimmer zu verwenden: * `temperature = 1.0` * `top_p = 0.95` * `top_k = 64` Maximale Kontextlänge: `131,072` (Standard) bis zu `262,144` #### Denk-Einstellungen Muse Glimmer unterstützt steuerbaren Denkaufwand, einschließlich: * niedrig * mittel * hoch * xhoch ## Muse Glimmer-Tutorials ausführen Da quantisierte Muse Glimmer 30B in mehreren Größen erhältlich ist, ist der empfohlene Ausgangspunkt für die Modelle [**Dynamic**](/docs/de/grundlagen/dynamic-3.0-ggufs.md) **4-Bit (UD** . Muse Glimmer 30B[ GGUFs](https://huggingface.co/unsloth/Muse-Glimmer-30B-GGUF). 🦥 Unsloth-Leitfaden🦙 Llama.cpp-Leitfaden ### 🦥 Unsloth-Leitfaden Muse Glimmer 30B kann jetzt in Unsloth Desktop, unserer neuen Open-Source-Desktop-App für lokale KI, ausgeführt und feinabgestimmt werden. Unsloth ermöglicht es Ihnen, Modelle lokal auf **MacOS, Windows**, Linux und: {% columns %} {% column %} * Suchen, herunterladen, [GGUFs ausführen](/docs/de/neu/studio.md#run-models-locally) und Safetensor-Modelle * [**Selbstheilend** Tool-Aufrufe](/docs/de/neu/studio.md#execute-code--heal-tool-calling) + **Websuche** * [**Codeausführung**](/docs/de/neu/studio.md#run-models-locally) (Python, Bash) * [Automatische Inferenz](https://unsloth.ai/docs/desktop#feature-deep-dive) Parameter-Tuning (Temp, Top-P usw.) * Schnelle CPU- + GPU-Inferenz über llama.cpp * [LLMs trainieren](/docs/de/neu/studio.md#no-code-training) 2x schneller mit 70 % weniger VRAM {% endcolumn %} {% column %}
{% endcolumn %} {% endcolumns %} {% stepper %} {% step %} #### Unsloth installieren **Unsloth läuft auf** [**macOS**](/docs/de/erste-schritte/install/mac.md)**,** [**Windows**](/docs/de/erste-schritte/install/windows-installation.md)**, und** [**Linux**](/docs/de/erste-schritte/install/linux.md)**.** Unsloth herunterladen Oder, für die manuelle Installation: MacOS, Linux, WSL: ```bash curl -fsSL https://unsloth.ai/install.sh | sh ``` Windows PowerShell: ```bash irm https://unsloth.ai/install.ps1 | iex ``` {% endstep %} {% step %} #### Unsloth starten und Muse Glimmer suchen und herunterladen Beim ersten Start gehen Sie zur Registerkarte Model Hub und suchen Sie in der Suchleiste nach Muse Glimmer und laden Sie Ihr gewünschtes Modell und Ihre gewünschte Quantisierung herunter. {% endstep %} {% step %} #### Muse Glimmer ausführen Inferenzparameter sollten bei Verwendung von Unsloth Desktop automatisch gesetzt werden, Sie können sie jedoch weiterhin manuell ändern. Sie können auch die Kontextlänge, das Chat-Template und andere Einstellungen bearbeiten. Sie können GGUFs und MLX-Dateien ausführen. Weitere Informationen finden Sie in unserem [Unsloth-Inferenzleitfaden](/docs/de/neu/studio/chat.md).
{% endstep %} {% step %} #### Muse Glimmer mit der Unsloth-API bereitstellen Sie können den Befehl `unsloth run` verwenden und Muse Glimmer über eine API bereitstellen mit `llama-server` Laufzeitflags, einschließlich Kontextgröße, GPU-Ebenen, Threading, Sampling, Netzwerken und Tool-Konfiguration. Weitere Informationen finden Sie in unseren [API-Dokumenten](/docs/de/grundlagen/api.md) oder [unsloth start](/docs/de/integrationen/unsloth-start.md). ```bash unsloth run --model unsloth/Muse-Glimmer-30B-GGUF:UD-Q4_K_XL ``` {% endstep %} {% step %} #### Unsloth ist jetzt bereit Sie können mit Muse Glimmer über Unsloth Desktop auch viele andere Dinge tun, wie: * **Tools verbinden:** [Claude Code](/docs/de/grundlagen/claude-code.md), [Codex](/docs/de/grundlagen/codex.md), [Websuche](/docs/de/neu/studio/chat.md#advanced-web-search), [MCP](/docs/de/grundlagen/mcp.md) und mehr * **Modelle trainieren:** Text, Diffusion, [Embedding](/docs/de/grundlagen/embedding-finetuning.md), und mehr * **Medien generieren:** Erstellen und trainieren [Bilder](/docs/de/grundlagen/diffusion-image.md), Video, [TTS](/docs/de/grundlagen/text-to-speech-tts-fine-tuning.md) lokal {% endstep %} {% endstepper %} ### 🦙 Llama.cpp-Leitfaden Für diesen Leitfaden verwenden wir Dynamic 4-Bit für Muse Glimmer 30B. Siehe: [Muse Glimmer 30B-Sammlung](https://huggingface.co/collections/unsloth/muse-glimmer) {% stepper %} {% step %} Die neueste `llama.cpp` **auf** [**GitHub hier**](https://github.com/ggml-org/llama.cpp). Sie können auch die folgenden Build-Anweisungen befolgen. Ändern Sie `-DGGML_CUDA=ON` zu `-DGGML_CUDA=OFF` wenn Sie keine GPU haben oder nur CPU-Inferenz möchten. **Für Apple Mac / Metal-Geräte**, setzen Sie `-DGGML_CUDA=OFF` und fahren Sie dann wie gewohnt fort - Metal-Unterstützung ist standardmäßig aktiviert. ```bash apt-get update apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y git clone https://github.com/ggml-org/llama.cpp cmake llama.cpp -B llama.cpp/build \\ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpp ``` {% endstep %} {% step %} Wenn Sie `llama.cpp` direkt zum Laden von Modellen verwenden möchten, können Sie den folgenden Befehlen entsprechend jedem Modell folgen. `UD-Q4_K_XL` ist der Quantisierungstyp. Sie können auch über Hugging Face herunterladen (Schritt 3). Dies ähnelt `ollama run` . Verwenden Sie `export LLAMA_CACHE="folder"` um `llama.cpp` zu erzwingen, dass ```bash export LLAMA_CACHE="unsloth/Muse-Glimmer-30B-GGUF" ./llama.cpp/llama-cli \\ -hf unsloth/Muse-Glimmer-30B-GGUF:UD-Q4_K_XL \\ --temp 1.0 \\ --top-p 0.95 \\ --top-k 64 ``` {% endstep %} {% step %} Sie können das Modell auch manuell über den folgenden Code herunterladen (nach der Installation von `pip install huggingface_hub`). Sie können `UD-Q4_K_XL` oder andere quantisierte Versionen wie `Q8_0` wählen. Wenn Downloads hängen bleiben, siehe: [Hugging Face Hub, XET-Debugging](/docs/de/grundlagen/troubleshooting-and-faqs/hugging-face-hub-xet-debugging.md) ```bash hf download unsloth/Muse-Glimmer-30B-GGUF \\ --local-dir unsloth/Muse-Glimmer-30B-GGUF \\ --include "*mmproj-BF16*" \\ --include "*UD-Q4_K_XL*" # Verwenden Sie "*UD-Q2_K_XL*" für Dynamic 2-Bit ``` {% endstep %} {% step %} Dann führen Sie das Modell im Konversationsmodus aus (mit Vision `mmproj-F16`): {% code overflow="wrap" %} ```bash ./llama.cpp/llama-cli \\ --model unsloth/Muse-Glimmer-30B-GGUF/Muse-Glimmer-30B-UD-Q4_K_XL.gguf \\ --mmproj unsloth/Muse-Glimmer-30B-GGUF/mmproj-BF16.gguf \\ --temp 1.0 \\ --top-p 0.95 \\ --top-k 64 ``` {% endcode %} {% endstep %} {% step %} #### Llama-Server-Bereitstellung Um Muse Glimmer 30B auf llama-server bereitzustellen, verwenden Sie: ```bash ./llama.cpp/llama-server \\ --model unsloth/Muse-Glimmer-30B-GGUF/Muse-Glimmer-30B-UD-Q4_K_XL.gguf \\ --mmproj unsloth/Muse-Glimmer-30B-GGUF/mmproj-BF16.gguf \\ --temp 1.0 \\ --top-p 0.95 \\ --top-k 64 \\ --alias "unsloth/Muse-Glimmer-30B-GGUF" \\ --port 8001 ``` {% endstep %} {% endstepper %} ### :wrench: Feinabstimmen Sie können Metas Muse Glimmer-30B jetzt mit [Unsloth](https://github.com/unslothai/unsloth) auf einer **24GB-Karte**feinabstimmen! Muse Glimmer ist ein multimodales agentisches Modell mit 30B Parametern, das für den lokalen Einsatz optimiert ist. Wir stellen mehrere Kaggle-Notebooks bereit, die 30 Stunden kostenlos mit 2x Tesla T4-GPUs bieten! {% columns %} {% column %} Muse Glimmer Vision Kaggle {% embed url="" %} {% endcolumn %} {% column %} Muse Glimmer Konversations-Kaggle {% embed url="" %} {% endcolumn %} {% endcolumns %} ### Benchmarks
| Kategorie | Benchmark | Muse Glimmer-30B Hohe Schlussfolgerungsleistung | Gemma4-31B Denkmodus | Qwen3.6-27B Denkmodus | | --------------------------------------------- | --------------------------------- | :-------------------------------------------------------------------------: | :-------------------------------------------------------------------------: | :----------------------------------------------------------: | | *Allgemein agentisch* | MCP Atlas (öffentlich) | **75.5** | 54.2 | 62.5 | | | DeepSearch QA | **74.6** | 61.7 | 71.1 | | | 𝛕3-Banking | **23.5** | 15.1 | 16.7 | | | WildClawBench | **47.6** | 37.6 | 43.2 | | | GDPVal-AA v2 | 953 | 811 | **1141** | | | Gaia2 | **43.3** | 36.4 | 40.0 | | | SkillsBench (mit Skills) | 44.3 | 32.4 | **46.6** | | | OSWorld-verifiziert | 65.9 | 58.5 | **75.6** | | *Agentisches Coding* | SWE-Bench Pro | **51.2** | 36.9 | 50.2 | | | SWE-Bench verifiziert | 76.0 | 66.6 | **77.2** | | | TerminalBench 2.1 (mit terminus2) | 51.7 | 43.4 | **60.7** | | | SciCode | **43.6** | 43.4 | 39.8 | | *Multimodal* | Charxiv-Schlussfolgerung | **78.8** | 77.7 | 78.4 | | | ScreenSpot Pro | 75.4 | 75.9 | **76.1** | | | OmniDocBench v1.5 | 75.8 | 72.5 | **77.8** | | | MMMU Pro | 74 | 73 | **75** | | | | | | | | *Sicherheit* | CI-Erinnerungen |

Verstoß (↓): 26.4
Abdeckung: 64.8

|

Verstoß (↓): 12.1
Abdeckung: 53.0

|

Verstoß (↓): 53.4
Abdeckung: 66.9

| | | Siren AgentDojo |

Angriffserfolgsrate (↓): 28.4
Nützlichkeit: 94.2

|

Angriffserfolgsrate (↓): 25.6
Nützlichkeit: 90.8

|

Angriffserfolgsrate (↓): 40.3
Nützlichkeit: 92.7

| | | | | | | | *Allgemeine Fähigkeiten und Schlussfolgerung* | IFBench | **77.0** | 76.0 | 70.8 | | | AIME 2026 | **94.7** | 89.2 | 94.1 | | | GPQA Diamond (AA) | 83.5 | **85.7** | 84.2 | | | HLE Text (AA) | 22.0 | **23.6** | 23.1 | | | AA-LCR | **80.0** | 68.3 | 73.3 | | | Beam128K | **65.1** | 58.2 | 63.0 | --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter: ``` GET https://unsloth.ai/docs/de/modelle/muse-glimmer.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.