> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/zh/mo-xing/muse-glimmer.md). # Muse Glimmer - 如何本地运行 Muse Glimmer 是 Meta 推出的新开放权重 **30B** 参数 **稠密视觉模型**，专为本地智能体和编码工作流设计。它是 Meta Superintelligence Labs 的首个开放模型，并以 **Apache 2.0** 许可发布。本指南介绍如何使用 **Unsloth Dynamic** 量化以获得最佳性能来运行 Muse Glimmer 30B。 {% columns %} {% column %} Muse Glimmer 30B 可在本地运行于 **18GB RAM/VRAM** 配置，包括 Mac 和 GPU/CPU 系统。你可以 **运行** 或 **微调 Muse Glimmer，借助** [**Unsloth**](#unsloth-guide)。我们与 Meta 和 Hugging Face 合作完成了 llama.cpp 推理实现。感谢 Meta 为 Unsloth 提供首日支持。 Muse Glimmer 运行教程微调 Muse Glimmer {% endcolumn %} {% column %}

在 Unsloth 中运行的 2 位 Muse Glimmer

{% endcolumn %} {% endcolumns %} ### 使用指南 Muse Glimmer 可以规划多步骤任务、按顺序执行工具调用、从失败中恢复、在条件变化时调整、使用运行时记忆，并在状态持久化后跨长时间运行会话恢复工作。这种持久性来自智能体框架，而不是模型。借助 **视觉支持**，Muse Glimmer 非常适合多模态工作流。 #### 硬件要求 Muse Glimmer 30B 使用大约 **58 GB 的完整精度 BF16 权重。** Unsloth Dynamic 量化会尽可能通过量化恢复精度，使 Muse Glimmer 30B 能够在像 RTX 5090 之类更小的设备上运行。 **表：Muse Glimmer 30B 推理 GGUF 推荐硬件要求** （单位 = 总内存：RAM + VRAM，或统一内存）。 | 2 位 | 3 位 | 4 位 | 6 位 | 8 位 | | -------- | -------- | ----- | -------- | ----- | | 12-14 GB | 14-15 GB | 17 GB | 20-22 GB | 34 GB | **详细要求表：** | 量化 | 推荐 RAM/VRAM： | 硬件示例 | | -------------------------- | ------------ | ----------------------- | | 2 位（`UD-Q2_K_XL`) | 12-14+ GB | RTX 4080 | | 3 位（`UD-Q3_K_XL`) | 14-15+ GB | RTX 4090 | | 4 位（`UD-Q4_K_XL`, `NVFP4`) | 17 GB+ | **Mac 32GB** | | 6 位（`UD-Q6_K_XL`) | 20-22 GB+ | **RTX 5090，Mac 48GB** | | 8 位（`UD-Q8_K_XL`) | 34 GB+ | **Mac 128GB，DGX Spark** | | BF16（完整精度） | 58 GB+ | **Mac 128GB，DGX Spark** | {% hint style="info" %} 一般来说，你的总可用内存应至少超过你下载的量化模型大小。如果不够，llama.cpp 仍然可以使用部分 RAM / 磁盘卸载运行，但生成会更慢。根据你使用的上下文窗口，你还会需要更多算力。 {% endhint %} #### 推荐设置 建议使用 Meta 的默认 Muse Glimmer 参数： * `temperature = 1.0` * `top_p = 0.95` * `top_k = 64` 最大上下文长度： `131,072` （默认）最多 `262,144` #### 思考设置 Muse Glimmer 支持可控推理强度，包括： * 低 * 中 * 高 * 超高 ## Muse Glimmer 运行教程 由于量化后的 Muse Glimmer 30B 有多个尺寸，模型的推荐起点是 [**Dynamic**](/docs/zh/ji-chu/dynamic-3.0-ggufs.md) **4 位（UD** 。Muse Glimmer 30B[ GGUF 文件](https://huggingface.co/unsloth/Muse-Glimmer-30B-GGUF). 🦥 Unsloth 指南🦙 llama.cpp 指南 ### 🦥 Unsloth 指南 Muse Glimmer 30B 现在可以在 Unsloth Desktop 中运行和微调，这是我们面向本地 AI 的新开源桌面应用。Unsloth 让你可以在本地运行模型于 **MacOS、Windows**、Linux 以及： {% columns %} {% column %} * 搜索、下载， [运行 GGUF](/docs/zh/xin/studio.md#run-models-locally) 以及 safetensor 模型 * [**自我修复** 工具调用](/docs/zh/xin/studio.md#execute-code--heal-tool-calling) + **网络搜索** * [**代码执行**](/docs/zh/xin/studio.md#run-models-locally) （Python、Bash） * [自动推理](https://unsloth.ai/docs/desktop#feature-deep-dive) 参数调优（temp、top-p 等） * 通过 llama.cpp 实现快速 CPU + GPU 推理 * [训练大语言模型](/docs/zh/xin/studio.md#no-code-training) 速度快 2 倍，显存减少 70% {% endcolumn %} {% column %}
{% endcolumn %} {% endcolumns %} {% stepper %} {% step %} #### 安装 Unsloth **Unsloth 运行于** [**macOS**](/docs/zh/kuai-su-kai-shi/install/mac.md)**,** [**Windows**](/docs/zh/kuai-su-kai-shi/install/windows-installation.md)**，以及** [**Linux**](/docs/zh/kuai-su-kai-shi/install/linux.md)**.** 下载 Unsloth 或者，手动安装： MacOS、Linux、WSL： ```bash curl -fsSL https://unsloth.ai/install.sh | sh ``` Windows PowerShell： ```bash irm https://unsloth.ai/install.ps1 | iex ``` {% endstep %} {% step %} #### 启动 Unsloth 并搜索并下载 Muse Glimmer 首次启动时，前往 Model hub 选项卡，在搜索栏中搜索 Muse Glimmer，并下载你想要的模型和量化版本。 {% endstep %} {% step %} #### 运行 Muse Glimmer 在使用 Unsloth Desktop 时，推理参数应会自动设置，不过你仍然可以手动更改。你也可以编辑上下文长度、聊天模板和其他设置。你可以运行 GGUF 和 MLX 文件。 更多信息请查看我们的 [Unsloth 推理指南](/docs/zh/xin/studio/chat.md).
{% endstep %} {% endstepper %} ### 🦙 llama.cpp 指南 在本指南中，我们将为 Muse Glimmer 30B 使用 Dynamic 4 位量化。参见： [Muse Glimmer 30B 合集](https://huggingface.co/collections/unsloth/muse-glimmer) {% stepper %} {% step %} 获取最新的 `llama.cpp` **在** [**GitHub 上的此处**](https://github.com/ggml-org/llama.cpp)。你也可以按照下面的构建说明进行操作。将 `-DGGML_CUDA=ON` 更改为 `-DGGML_CUDA=OFF` 如果你没有 GPU，或者只想进行 CPU 推理。 **适用于 Apple Mac / Metal 设备**，设置 `-DGGML_CUDA=OFF` ，然后按常规继续——Metal 支持默认已开启。 ```bash apt-get update apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y git clone https://github.com/ggml-org/llama.cpp cmake llama.cpp -B llama.cpp/build \ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpp ``` {% endstep %} {% step %} 如果你想 `llama.cpp` 直接用于加载模型，你可以根据各个模型遵循下面的命令。 `UD-Q4_K_XL` 是量化类型。你也可以通过 Hugging Face（第 3 步）下载。这类似于 `ollama run` 。使用 `export LLAMA_CACHE="folder"` 以强制 `llama.cpp` 保存到指定位置。无需设置上下文长度，因为 llama.cpp 会自动使用所需的精确数量。 ```bash export LLAMA_CACHE="unsloth/Muse-Glimmer-30B-GGUF" ./llama.cpp/llama-cli \ -hf unsloth/Muse-Glimmer-30B-GGUF:UD-Q4_K_XL \ --temp 1.0 \ --top-p 0.95 \ --top-k 64 ``` {% endstep %} {% step %} 你也可以在安装 `pip install huggingface_hub`之后，通过下面的代码手动下载模型。你可以选择 `UD-Q4_K_XL` 或其他量化版本，例如 `Q8_0` 。如果下载卡住，请参见： [Hugging Face Hub，XET 调试](/docs/zh/ji-chu/troubleshooting-and-faqs/hugging-face-hub-xet-debugging.md) ```bash hf download unsloth/Muse-Glimmer-30B-GGUF \ --local-dir unsloth/Muse-Glimmer-30B-GGUF \ --include "*mmproj-BF16*" \ --include "*UD-Q4_K_XL*" # 动态 2bit 请使用 "*UD-Q2_K_XL*" ``` {% endstep %} {% step %} 然后以对话模式运行模型（带视觉 `mmproj-F16`): {% code overflow="wrap" %} ```bash ./llama.cpp/llama-cli \ --model unsloth/Muse-Glimmer-30B-GGUF/Muse-Glimmer-30B-UD-Q4_K_XL.gguf \ --mmproj unsloth/Muse-Glimmer-30B-GGUF/mmproj-BF16.gguf \ --temp 1.0 \ --top-p 0.95 \ --top-k 64 ``` {% endcode %} {% endstep %} {% step %} #### llama-server 部署 要在 llama-server 上部署 Muse Glimmer 30B，请使用： ```bash ./llama.cpp/llama-server \ --model unsloth/Muse-Glimmer-30B-GGUF/Muse-Glimmer-30B-UD-Q4_K_XL.gguf \ --mmproj unsloth/Muse-Glimmer-30B-GGUF/mmproj-BF16.gguf \ --temp 1.0 \ --top-p 0.95 \ --top-k 64 \ --alias "unsloth/Muse-Glimmer-30B-GGUF" \ --port 8001 ``` {% endstep %} {% endstepper %} ### :wrench: 微调 你现在可以使用 [Unsloth](https://github.com/unslothai/unsloth) 在一块 **24GB 显卡**来微调 Meta 的 Muse Glimmer-30B！Muse Glimmer 是一个 30B 参数的多模态智能体模型，针对本地部署进行了优化。 我们提供多个 Kaggle 笔记本，可免费使用 30 小时，并配备 2 块 Tesla T4 GPU！ {% columns %} {% column %} Muse Glimmer 视觉 Kaggle {% embed url="" %} {% endcolumn %} {% column %} Muse Glimmer 对话 Kaggle {% embed url="" %} {% endcolumn %} {% endcolumns %} ### 基准测试
| 类别 | 基准 | Muse Glimmer-30B 高推理 | Gemma4-31B 思考模式 | Qwen3.6-27B 思考模式 | | --------- | ------------------------------ | :-----------------------------------------------: | :-----------------------------------------------: | :----------------------------------------------: | | *通用智能体* | MCP Atlas（公开） | **75.5** | 54.2 | 62.5 | | | DeepSearch QA | **74.6** | 61.7 | 71.1 | | | 𝛕3-Banking | **23.5** | 15.1 | 16.7 | | | WildClawBench | **47.6** | 37.6 | 43.2 | | | GDPVal-AA v2 | 953 | 811 | **1141** | | | Gaia2 | **43.3** | 36.4 | 40.0 | | | SkillsBench（含技能） | 44.3 | 32.4 | **46.6** | | | OSWorld-Verified | 65.9 | 58.5 | **75.6** | | *智能体编码* | SWE-Bench Pro | **51.2** | 36.9 | 50.2 | | | SWE-Bench Verified | 76.0 | 66.6 | **77.2** | | | TerminalBench 2.1（含 terminus2） | 51.7 | 43.4 | **60.7** | | | SciCode | **43.6** | 43.4 | 39.8 | | *多模态* | Charxiv 推理 | **78.8** | 77.7 | 78.4 | | | ScreenSpot Pro | 75.4 | 75.9 | **76.1** | | | OmniDocBench v1.5 | 75.8 | 72.5 | **77.8** | | | MMMU Pro | 74 | 73 | **75** | | | | | | | | *安全* | CI Memories |

违规率（↓）：26.4
覆盖率：64.8

|

违规率（↓）： 12.1
覆盖率：53.0

|

违规率（↓）：53.4
覆盖率： 66.9

| | | Siren AgentDojo |

攻击成功率（↓）：28.4
效用： 94.2

|

攻击成功率（↓）： 25.6
效用：90.8

|

攻击成功率（↓）：40.3
效用：92.7

| | | | | | | | *通用能力与推理* | IFBench | **77.0** | 76.0 | 70.8 | | | AIME 2026 | **94.7** | 89.2 | 94.1 | | | GPQA Diamond（AA） | 83.5 | **85.7** | 84.2 | | | HLE Text（AA） | 22.0 | **23.6** | 23.1 | | | AA-LCR | **80.0** | 68.3 | 73.3 | | | Beam128K | **65.1** | 58.2 | 63.0 | --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter: ``` GET https://unsloth.ai/docs/zh/mo-xing/muse-glimmer.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.