> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/zh/mo-xing/muse-glimmer.md).

# Muse Glimmer：如何本地运行

了解如何运行 Meta 新的 Muse Glimmer 30B 模型。

Muse Glimmer 是 Meta 的新开源权重 **30B** 参数 **稠密视觉模型**，专为本地智能体和编码工作流而设计。它是 Meta Superintelligence Labs 的首个开放模型，并以 **Apache 2.0** 许可证发布。本指南将介绍如何使用以下方式运行 Muse Glimmer 30B： **Unsloth Dynamic** 量化，以获得最佳性能。

{% columns %}
{% column %}
Muse Glimmer 30B 可在本地运行于 **18GB RAM/VRAM** 配置上运行，包括 Mac 以及 GPU/CPU 系统。你可以 **运行** 或 **使用以下方式微调 Muse Glimmer：** [**Unsloth**](#unsloth-guide)。我们与 Meta 和 Hugging Face 合作开发了 llama.cpp 推理实现。感谢 Meta 为 Unsloth 提供首日支持。

<a href="/docs/zh/mo-xing/muse-glimmer.md#run-muse-glimmer-tutorials" class="button primary">运行 Muse Glimmer 教程</a><a href="/docs/zh/mo-xing/muse-glimmer/train.md" class="button secondary">微调 Muse Glimmer</a>
{% endcolumn %}

{% column %}

<figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fw02045vWPT8A7cDuXSnS%2Fsksdklklds.gif?alt=media&amp;token=8fdd1a6f-733e-4dcc-87d3-a42e0a5bf98d" alt=""><figcaption><p>在 Unsloth 中运行的 2 位 Muse Glimmer</p></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

### 使用指南

Muse Glimmer 可以规划多步骤任务、按顺序执行工具调用、从失败中恢复、根据条件变化进行调整、使用运行时内存，并在状态持久化时跨长时间运行的会话恢复工作。这种持久性来自智能体框架，而不是模型。结合 **视觉支持**，Muse Glimmer 非常适合多模态工作流。

#### 硬件要求

Muse Glimmer 30B 大约需要 **58 GB 的全精度 BF16 权重。** Unsloth Dynamic 量化会尽可能通过量化恢复准确度，使 Muse Glimmer 30B 能够在 RTX 5090 等更小的设备上运行。

**表：Muse Glimmer 30B 推理 GGUF 推荐硬件要求** （单位 = 总内存：RAM + VRAM，或统一内存）。

| 2 位      | 3 位      | 4 位   | 6 位      | 8 位   |
| -------- | -------- | ----- | -------- | ----- |
| 12-14 GB | 14-15 GB | 17 GB | 20-22 GB | 34 GB |

**详细要求表：**

| 量化                         | 推荐 RAM/VRAM： | 硬件示例                     |
| -------------------------- | ------------ | ------------------------ |
| 2 位（`UD-Q2_K_XL`)          | 12-14+ GB    | RTX 4080                 |
| 3 位（`UD-Q3_K_XL`)          | 14-15 GB+    | RTX 4090                 |
| 4 位（`UD-Q4_K_XL`, `NVFP4`) | 17 GB+       | **Mac 32GB**             |
| 6 位（`UD-Q6_K_XL`)          | 20-22 GB+    | **RTX 5090, Mac 48GB**   |
| 8 位（`UD-Q8_K_XL`)          | 34 GB+       | **Mac 128GB, DGX Spark** |
| BF16（全精度）                  | 58 GB+       | **Mac 128GB, DGX Spark** |

{% hint style="info" %}
一般来说，你的可用总内存至少应当大于你下载的量化模型大小。否则，llama.cpp 仍然可以通过部分 RAM / 磁盘卸载来运行，但生成速度会更慢。根据你使用的上下文窗口大小，你还需要更多计算资源。
{% endhint %}

#### 推荐设置

建议使用 Meta 默认的 Muse Glimmer 参数：

* `temperature = 1.0`
* `top_p = 0.95`
* `top_k = 64`

最大上下文长度： `131,072` （默认）最高可达 `262,144`

#### 思考设置

Muse Glimmer 支持可控的推理强度，包括：

* 低
* 中
* 高
* 超高

## 运行 Muse Glimmer 教程

由于量化后的 Muse Glimmer 30B 有多种大小，模型的推荐起点是 [**Dynamic**](/docs/zh/ji-chu-zhi-shi/dynamic-3.0-ggufs.md) **4 位（UD** 。Muse Glimmer 30B[ GGUF 文件](https://huggingface.co/unsloth/Muse-Glimmer-30B-GGUF).

<a href="/docs/zh/mo-xing/muse-glimmer.md#unsloth-guide" class="button primary">🦥 Unsloth 指南</a><a href="/pages/109c22d0c1d136d31076df8bc2667ebda88e2601#llama.cpp-guide" class="button primary">🦙 Llama.cpp 指南</a>

### 🦥 Unsloth 指南

Muse Glimmer 30B 现在可以在 Unsloth Desktop 中运行和微调，这是我们新的开源本地 AI 桌面应用。Unsloth 让你可以在本地运行模型于 **MacOS、Windows**、Linux 以及：

{% columns %}
{% column %}

* 搜索、下载、 [运行 GGUF 文件](/docs/zh/xin/studio.md#run-models-locally) 以及 safetensor 模型
* [**自我修复** 工具调用](/docs/zh/xin/studio.md#execute-code--heal-tool-calling) + **网页搜索**
* [**代码执行**](/docs/zh/xin/studio.md#run-models-locally) （Python、Bash）
* [自动推理](https://unsloth.ai/docs/desktop#feature-deep-dive) 参数调优（温度、top-p 等）
* 通过 llama.cpp 实现快速 CPU + GPU 推理
* [训练 LLM](/docs/zh/xin/studio.md#no-code-training) 速度快 2 倍，VRAM 占用减少 70%
  {% endcolumn %}

{% column %}

<figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FCwcXvmLERJSUNF6iNTiY%2Fdeepseek-v4-flash-0731-unsloth-studio.png?alt=media&amp;token=6fdc0216-d21e-42e7-bb57-8e1abf6e7f4f" alt=""><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

{% stepper %}
{% step %}

#### 安装 Unsloth

**Unsloth 可运行于** [**macOS**](/docs/zh/kuai-su-kai-shi/install/mac.md)**,** [**Windows**](/docs/zh/kuai-su-kai-shi/install/windows-installation.md)**，以及** [**Linux**](/docs/zh/kuai-su-kai-shi/install/linux.md)**.**

<a href="https://unsloth.ai/download" class="button primary" data-icon="down-to-bracket">下载 Unsloth</a>

或者，手动安装：

MacOS、Linux、WSL：

```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```

Windows PowerShell：

```bash
irm https://unsloth.ai/install.ps1 | iex
```

{% endstep %}

{% step %}

#### 启动 Unsloth，搜索并下载 Muse Glimmer

首次启动后，转到 Model hub 选项卡，在搜索栏中搜索 Muse Glimmer，并下载你想要的模型和量化版本。
{% endstep %}

{% step %}

#### 运行 Muse Glimmer

在使用 Unsloth Desktop 时，推理参数应会自动设置，不过你仍然可以手动更改。你也可以编辑上下文长度、聊天模板和其他设置。你可以运行 GGUF 文件和 MLX 文件。

更多信息可查看我们的 [Unsloth 推理指南](/docs/zh/xin/studio/chat.md).

<figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FfkziNyeYlwSTjrRhQIru%2Fkimik3.gif?alt=media&amp;token=790b6266-65e7-4200-a8e5-11dc23e74678" alt=""><figcaption></figcaption></figure>
{% endstep %}

{% step %}

#### 使用 Unsloth API 提供 Muse Glimmer 服务

你可以使用 `unsloth run` 命令，并使用以下方式通过 API 提供 Muse Glimmer 服务： `llama-server` 运行时标志，包括上下文大小、GPU 层、线程、采样、网络和工具配置。更多信息请参阅我们的 [API 文档](/docs/zh/ji-chu-zhi-shi/api.md) 或 [unsloth start](/docs/zh/ji-cheng/unsloth-start.md).

```bash
unsloth run --model unsloth/Muse-Glimmer-30B-GGUF:UD-Q4_K_XL
```

{% endstep %}

{% step %}

#### Unsloth 现在已准备就绪

你还可以通过 Unsloth Desktop 使用 Muse Glimmer 做很多其他事情，例如：

* **连接工具：** [Claude Code](/docs/zh/ji-chu-zhi-shi/claude-code.md), [Codex](/docs/zh/ji-chu-zhi-shi/codex.md), [网页搜索](/docs/zh/xin/studio/chat.md#advanced-web-search), [MCP](/docs/zh/ji-chu-zhi-shi/mcp.md) 等等
* **训练模型：** 微调文本、扩散、 [嵌入](/docs/zh/ji-chu-zhi-shi/embedding-finetuning.md)等等
* **生成媒体：** 创建并训练 [图像](/docs/zh/ji-chu-zhi-shi/diffusion-image.md)、视频、 [TTS](/docs/zh/ji-chu-zhi-shi/text-to-speech-tts-fine-tuning.md) 本地
  {% endstep %}
  {% endstepper %}

### 🦙 Llama.cpp 指南

本指南中我们将为 Muse Glimmer 30B 使用 Dynamic 4 位。参见： [Muse Glimmer 30B 集合](https://huggingface.co/collections/unsloth/muse-glimmer)

{% stepper %}
{% step %}
获取最新的 `llama.cpp` **在** [**GitHub 上获取**](https://github.com/ggml-org/llama.cpp)。你也可以按照下面的构建说明进行操作。将 `-DGGML_CUDA=ON` 改为 `-DGGML_CUDA=OFF` 如果你没有 GPU，或者只想使用 CPU 推理。 **对于 Apple Mac / Metal 设备**，设置 `-DGGML_CUDA=OFF` 然后按常规继续——Metal 支持默认开启。

```bash
apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \\
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp
```

{% endstep %}

{% step %}
如果你想使用 `llama.cpp` 直接加载模型，可以根据各个模型按照下面的命令操作。 `UD-Q4_K_XL` 是量化类型。你也可以通过 Hugging Face 下载（第 3 步）。这类似于 `ollama run` 。使用 `export LLAMA_CACHE="folder"` 来强制 `llama.cpp` 保存到指定位置。无需设置上下文长度，因为 llama.cpp 会自动使用所需的准确长度。

```bash
export LLAMA_CACHE="unsloth/Muse-Glimmer-30B-GGUF"
./llama.cpp/llama-cli \\
    -hf unsloth/Muse-Glimmer-30B-GGUF:UD-Q4_K_XL \\
    --temp 1.0 \\
    --top-p 0.95 \\
    --top-k 64
```

{% endstep %}

{% step %}
你也可以通过下面的代码手动下载模型（在安装 `pip install huggingface_hub`之后）。你可以选择 `UD-Q4_K_XL` 或者其他量化版本，如 `Q8_0` 。如果下载卡住，请参阅： [Hugging Face Hub、XET 调试](/docs/zh/ji-chu-zhi-shi/troubleshooting-and-faqs/hugging-face-hub-xet-debugging.md)

```bash
hf download unsloth/Muse-Glimmer-30B-GGUF \\
    --local-dir unsloth/Muse-Glimmer-30B-GGUF \\
    --include "*mmproj-BF16*" \\
    --include "*UD-Q4_K_XL*" # 对于 Dynamic 2 位使用 "*UD-Q2_K_XL*"
```

{% endstep %}

{% step %}
然后以对话模式运行模型（带视觉 `mmproj-F16`):

{% code overflow="wrap" %}

```bash
./llama.cpp/llama-cli \\
    --model unsloth/Muse-Glimmer-30B-GGUF/Muse-Glimmer-30B-UD-Q4_K_XL.gguf \\
    --mmproj unsloth/Muse-Glimmer-30B-GGUF/mmproj-BF16.gguf \\
    --temp 1.0 \\
    --top-p 0.95 \\
    --top-k 64
```

{% endcode %}
{% endstep %}

{% step %}

#### Llama-server 部署

要在 llama-server 上部署 Muse Glimmer 30B，请使用：

```bash
./llama.cpp/llama-server \\
    --model unsloth/Muse-Glimmer-30B-GGUF/Muse-Glimmer-30B-UD-Q4_K_XL.gguf \\
    --mmproj unsloth/Muse-Glimmer-30B-GGUF/mmproj-BF16.gguf \\
    --temp 1.0 \\
    --top-p 0.95 \\
    --top-k 64 \\
    --alias "unsloth/Muse-Glimmer-30B-GGUF" \\
    --port 8001
```

{% endstep %}
{% endstepper %}

### :wrench: 微调

你现在可以使用以下方式微调 Meta 的 Muse Glimmer-30B： [Unsloth](https://github.com/unslothai/unsloth) 在一张 **24GB 显卡上**！Muse Glimmer 是一个拥有 30B 参数的多模态智能体模型，针对本地部署进行了优化。

我们提供多个 Kaggle 笔记本，可免费使用 30 小时，并配备 2 块 Tesla T4 GPU！

{% columns %}
{% column %}
Muse Glimmer 视觉 Kaggle

{% embed url="<https://www.kaggle.com/notebooks/welcome?src=https://github.com/unslothai/notebooks/blob/main/nb/Kaggle-Muse_Glimmer_(30B)-Vision.ipynb&accelerator=nvidiaTeslaT4>" %}
{% endcolumn %}

{% column %}
Muse Glimmer 对话 Kaggle

{% embed url="<https://www.kaggle.com/notebooks/welcome?src=https://github.com/unslothai/notebooks/blob/main/nb/Kaggle-Muse_Glimmer_(30B)-Conversational.ipynb&accelerator=nvidiaTeslaT4>" %}
{% endcolumn %}
{% endcolumns %}

### 基准测试

<figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FlBA3dI7za973jBKMKT8D%2FScreenshot%202026-08-10%20at%202.28.04%E2%80%AFAM.png?alt=media&amp;token=c80b2746-dedc-4bac-bf17-645b3368599d" alt=""><figcaption></figcaption></figure>

| 类别        | 基准                             |                Muse Glimmer-30B 高推理               |                  Gemma4-31B 思考模式                  |                 Qwen3.6-27B 思考模式                |
| --------- | ------------------------------ | :-----------------------------------------------: | :-----------------------------------------------: | :---------------------------------------------: |
| *通用智能体*   | MCP Atlas（公开）                  |                      **75.5**                     |                        54.2                       |                       62.5                      |
|           | DeepSearch 问答                  |                      **74.6**                     |                        61.7                       |                       71.1                      |
|           | 𝛕3-Banking                    |                      **23.5**                     |                        15.1                       |                       16.7                      |
|           | WildClawBench                  |                      **47.6**                     |                        37.6                       |                       43.2                      |
|           | GDPVal-AA v2                   |                        953                        |                        811                        |                     **1141**                    |
|           | Gaia2                          |                      **43.3**                     |                        36.4                       |                       40.0                      |
|           | SkillsBench（带技能）               |                        44.3                       |                        32.4                       |                     **46.6**                    |
|           | OSWorld-已验证                    |                        65.9                       |                        58.5                       |                     **75.6**                    |
| *智能体编码*   | SWE-Bench Pro                  |                      **51.2**                     |                        36.9                       |                       50.2                      |
|           | SWE-Bench 已验证                  |                        76.0                       |                        66.6                       |                     **77.2**                    |
|           | TerminalBench 2.1（含 terminus2） |                        51.7                       |                        43.4                       |                     **60.7**                    |
|           | SciCode                        |                      **43.6**                     |                        43.4                       |                       39.8                      |
| *多模态*     | Charxiv 推理                     |                      **78.8**                     |                        77.7                       |                       78.4                      |
|           | ScreenSpot Pro                 |                        75.4                       |                        75.9                       |                     **76.1**                    |
|           | OmniDocBench v1.5              |                        75.8                       |                        72.5                       |                     **77.8**                    |
|           | MMMU Pro                       |                         74                        |                         73                        |                      **75**                     |
|           |                                |                                                   |                                                   |                                                 |
| *安全性*     | CI 记忆                          |           <p>违规（↓）：26.4<br>覆盖率：64.8</p>           |  <p>违规（↓）： <strong>12.1</strong><br>覆盖率：53.0</p>  | <p>违规（↓）：53.4<br>覆盖率： <strong>66.9</strong></p> |
|           | Siren AgentDojo                | <p>攻击成功率（↓）：28.4<br>效用： <strong>94.2</strong></p> | <p>攻击成功率（↓）： <strong>25.6</strong><br>效用：90.8</p> |         <p>攻击成功率（↓）：40.3<br>效用：92.7</p>         |
|           |                                |                                                   |                                                   |                                                 |
| *通用能力与推理* | IFBench                        |                      **77.0**                     |                        76.0                       |                       70.8                      |
|           | AIME 2026                      |                      **94.7**                     |                        89.2                       |                       94.1                      |
|           | GPQA Diamond (AA)              |                        83.5                       |                      **85.7**                     |                       84.2                      |
|           | HLE Text (AA)                  |                        22.0                       |                      **23.6**                     |                       23.1                      |
|           | AA-LCR                         |                      **80.0**                     |                        68.3                       |                       73.3                      |
|           | Beam128K                       |                      **65.1**                     |                        58.2                       |                       63.0                      |


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://unsloth.ai/docs/zh/mo-xing/muse-glimmer.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.