> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/zh/mo-xing/muse-glimmer.md).

# Muse Glimmer - 如何本地运行

了解如何运行来自 Meta 的新 Muse Glimmer 30B 模型。

Muse Glimmer 是 Meta 的新开放权重 **30B** 参数 **稠密视觉模型**，专为本地智能体和编程工作流设计。它是 Meta Superintelligence Labs 的首个开源模型，并在 **Apache 2.0** 许可下发布。本指南介绍如何使用 **Unsloth Dynamic** 量化版本以获得最佳性能。

{% columns %}
{% column %}
Muse Glimmer 30B 可本地运行于 **18GB RAM/VRAM** 配置上，包括 Mac 以及 GPU/CPU 系统。你可以 **运行** 或 **使用** [**Unsloth**](#unsloth-guide)进行 Muse Glimmer 的微调。我们与 Meta 和 Hugging Face 合作完成了 llama.cpp 推理实现。感谢 Meta 为 Unsloth 提供首日支持。

<a href="/docs/zh/mo-xing/muse-glimmer.md#run-muse-glimmer-tutorials" class="button primary">运行 Muse Glimmer 教程</a><a href="/docs/zh/mo-xing/muse-glimmer/train.md" class="button secondary">微调 Muse Glimmer</a>
{% endcolumn %}

{% column %}

<figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fw02045vWPT8A7cDuXSnS%2Fsksdklklds.gif?alt=media&amp;token=8fdd1a6f-733e-4dcc-87d3-a42e0a5bf98d" alt=""><figcaption><p>在 Unsloth 中运行的 2 位 Muse Glimmer</p></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

### 使用指南

Muse Glimmer 可以规划多步骤任务、执行顺序工具调用、从失败中恢复、在条件变化时自适应、使用运行时记忆，并在状态持久化后跨长时间运行会话恢复工作。这种持久化来自智能体框架，而不是模型。配合 **视觉支持**，Muse Glimmer 非常适合多模态工作流。

#### 硬件要求

Muse Glimmer 30B 约占用 **58 GB，用于全精度 BF16 权重。** Unsloth Dynamic 量化会尽可能通过量化恢复精度，使 Muse Glimmer 30B 能在 RTX 5090 等较小设备上运行。

**表：Muse Glimmer 30B 推理 GGUF 推荐硬件要求** （单位 = 总内存：RAM + VRAM，或统一内存）。

| 2 位      | 3 位      | 4 位   | 6 位      | 8 位   |
| -------- | -------- | ----- | -------- | ----- |
| 12-14 GB | 14-15 GB | 17 GB | 20-22 GB | 34 GB |

**详细要求表：**

| 量化                         | 推荐 RAM/VRAM： | 硬件示例                     |
| -------------------------- | ------------ | ------------------------ |
| 2 位（`UD-Q2_K_XL`)          | 12-14+ GB    | RTX 4080                 |
| 3 位（`UD-Q3_K_XL`)          | 14-15 GB+    | RTX 4090                 |
| 4 位（`UD-Q4_K_XL`, `NVFP4`) | 17 GB+       | **Mac 32GB**             |
| 6 位（`UD-Q6_K_XL`)          | 20-22 GB+    | **RTX 5090, Mac 48GB**   |
| 8 位（`UD-Q8_K_XL`)          | 34 GB+       | **Mac 128GB, DGX Spark** |
| BF16（全精度）                  | 58 GB+       | **Mac 128GB, DGX Spark** |

{% hint style="info" %}
一般来说，你的可用总内存至少应当超过你下载的量化模型大小。否则，llama.cpp 仍可通过部分 RAM / 磁盘卸载运行，但生成速度会更慢。根据你使用的上下文窗口，还会需要更多算力。
{% endhint %}

#### 推荐设置

建议使用 Meta 默认的 Muse Glimmer 参数：

* `temperature = 1.0`
* `top_p = 0.95`
* `top_k = 64`

最大上下文长度： `131,072` （默认）最高可达 `262,144`

#### 思考设置

Muse Glimmer 支持可控推理强度，包括：

* 低
* 中
* 高
* 超高

## 运行 Muse Glimmer 教程

由于量化后的 Muse Glimmer 30B 有多种尺寸，模型的推荐起点是 [**Dynamic**](/docs/zh/ji-chu/dynamic-3.0-ggufs.md) **4 位（UD** 。Muse Glimmer 30B[ GGUF 文件](https://huggingface.co/unsloth/Muse-Glimmer-30B-GGUF).

<a href="/docs/zh/mo-xing/muse-glimmer.md#unsloth-guide" class="button primary">🦥 Unsloth 指南</a><a href="/pages/109c22d0c1d136d31076df8bc2667ebda88e2601#llama.cpp-guide" class="button primary">🦙 Llama.cpp 指南</a>

### 🦥 Unsloth 指南

Muse Glimmer 30B 现在可以在 Unsloth Desktop 中运行和微调，这是我们新推出的用于本地 AI 的开源桌面应用。Unsloth 让你可以在 **MacOS、Windows**、Linux 以及：

{% columns %}
{% column %}

* 搜索、下载、 [运行 GGUF 文件](/docs/zh/xin/studio.md#run-models-locally) 和 safetensor 模型
* [**自我修复** 工具调用](/docs/zh/xin/studio.md#execute-code--heal-tool-calling) + **网页搜索**
* [**代码执行**](/docs/zh/xin/studio.md#run-models-locally) （Python、Bash）
* [自动推理](https://unsloth.ai/docs/desktop#feature-deep-dive) 参数调优（temp、top-p 等）
* 通过 llama.cpp 实现快速 CPU + GPU 推理
* [训练 LLM](/docs/zh/xin/studio.md#no-code-training) 速度提升 2 倍，显存减少 70%
  {% endcolumn %}

{% column %}

<figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FCwcXvmLERJSUNF6iNTiY%2Fdeepseek-v4-flash-0731-unsloth-studio.png?alt=media&amp;token=6fdc0216-d21e-42e7-bb57-8e1abf6e7f4f" alt=""><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

{% stepper %}
{% step %}

#### 安装 Unsloth

**Unsloth 可运行于** [**macOS**](/docs/zh/kai-shi-shi-yong/install/mac.md)**,** [**Windows**](/docs/zh/kai-shi-shi-yong/install/windows-installation.md)**和** [**Linux**](/docs/zh/kai-shi-shi-yong/install/linux.md)**.**

<a href="https://unsloth.ai/download" class="button primary" data-icon="down-to-bracket">下载 Unsloth</a>

或者，手动安装：

MacOS、Linux、WSL：

```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```

Windows PowerShell：

```bash
irm https://unsloth.ai/install.ps1 | iex
```

{% endstep %}

{% step %}

#### 启动 Unsloth 并搜索并下载 Muse Glimmer

首次启动时，进入 Model hub 选项卡，在搜索栏中搜索 Muse Glimmer，下载你想要的模型和量化版本。
{% endstep %}

{% step %}

#### 运行 Muse Glimmer

使用 Unsloth Desktop 时，推理参数应会自动设置，但你仍可手动更改。你也可以编辑上下文长度、聊天模板和其他设置。你可以运行 GGUF 文件和 MLX 文件。

更多信息，请查看我们的 [Unsloth 推理指南](/docs/zh/xin/studio/chat.md).

<figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FfkziNyeYlwSTjrRhQIru%2Fkimik3.gif?alt=media&amp;token=790b6266-65e7-4200-a8e5-11dc23e74678" alt=""><figcaption></figcaption></figure>
{% endstep %}

{% step %}

#### 使用 Unsloth API 提供 Muse Glimmer 服务

你可以使用 `unsloth run` 命令，并通过以下方式使用 API 提供 Muse Glimmer 服务： `llama-server` 运行时标志，包括上下文大小、GPU 层数、线程、采样、网络和工具配置。更多信息请参阅我们的 [API 文档](/docs/zh/ji-chu/api.md) 或 [unsloth start](/docs/zh/ji-cheng/unsloth-start.md).

```bash
unsloth run --model unsloth/Muse-Glimmer-30B-GGUF:UD-Q4_K_XL
```

{% endstep %}

{% step %}

#### Unsloth 现在已就绪

你还可以通过 Unsloth Desktop 用 Muse Glimmer 做许多其他事情，例如：

* **连接工具：** [Claude Code](/docs/zh/ji-chu/claude-code.md), [Codex](/docs/zh/ji-chu/codex.md), [网页搜索](/docs/zh/xin/studio/chat.md#advanced-web-search), [MCP](/docs/zh/ji-chu/mcp.md) 等等
* **训练模型：** 微调文本、扩散、 [嵌入](/docs/zh/ji-chu/embedding-finetuning.md)等更多内容
* **生成媒体：** 创建并训练 [图像](/docs/zh/ji-chu/diffusion-image.md)、视频、 [TTS](/docs/zh/ji-chu/text-to-speech-tts-fine-tuning.md) 本地
  {% endstep %}
  {% endstepper %}

### 🦙 Llama.cpp 指南

在本指南中，我们将为 Muse Glimmer 30B 使用 Dynamic 4-bit。见： [Muse Glimmer 30B 合集](https://huggingface.co/collections/unsloth/muse-glimmer)

{% stepper %}
{% step %}
获取最新的 `llama.cpp` **在** [**这里的 GitHub**](https://github.com/ggml-org/llama.cpp)。你也可以按照下面的构建说明操作。如果你没有 GPU，或者只想使用 CPU 推理，请将 `-DGGML_CUDA=ON` 改为 `-DGGML_CUDA=OFF` 。 **对于 Apple Mac / Metal 设备**，设置 `-DGGML_CUDA=OFF` 然后照常继续——Metal 支持默认已开启。

```bash
apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \\
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp
```

{% endstep %}

{% step %}
如果你想直接使用 `llama.cpp` 来加载模型，你可以按照各个模型的说明执行以下命令。 `UD-Q4_K_XL` 是量化类型。你也可以通过 Hugging Face 下载（第 3 步）。这与 `ollama run` 类似。使用 `export LLAMA_CACHE="folder"` 来强制 `llama.cpp` 保存到特定位置。无需设置上下文长度，因为 llama.cpp 会自动使用所需的准确大小。

```bash
export LLAMA_CACHE="unsloth/Muse-Glimmer-30B-GGUF"
./llama.cpp/llama-cli \\
    -hf unsloth/Muse-Glimmer-30B-GGUF:UD-Q4_K_XL \\
    --temp 1.0 \\
    --top-p 0.95 \\
    --top-k 64
```

{% endstep %}

{% step %}
你也可以通过下面的代码手动下载模型（在安装后 `pip install huggingface_hub`）。你可以选择 `UD-Q4_K_XL` 或其他量化版本，例如 `Q8_0` 。如果下载卡住了，请查看： [Hugging Face Hub、XET 调试](/docs/zh/ji-chu/troubleshooting-and-faqs/hugging-face-hub-xet-debugging.md)

```bash
hf download unsloth/Muse-Glimmer-30B-GGUF \\
    --local-dir unsloth/Muse-Glimmer-30B-GGUF \\
    --include "*mmproj-BF16*" \\
    --include "*UD-Q4_K_XL*" # 动态 2 位请使用 "*UD-Q2_K_XL*"
```

{% endstep %}

{% step %}
然后在对话模式下运行模型（带视觉 `mmproj-F16`):

{% code overflow="wrap" %}

```bash
./llama.cpp/llama-cli \\
    --model unsloth/Muse-Glimmer-30B-GGUF/Muse-Glimmer-30B-UD-Q4_K_XL.gguf \\
    --mmproj unsloth/Muse-Glimmer-30B-GGUF/mmproj-BF16.gguf \\
    --temp 1.0 \\
    --top-p 0.95 \\
    --top-k 64
```

{% endcode %}
{% endstep %}

{% step %}

#### Llama-server 部署

要在 llama-server 上部署 Muse Glimmer 30B，请使用：

```bash
./llama.cpp/llama-server \\
    --model unsloth/Muse-Glimmer-30B-GGUF/Muse-Glimmer-30B-UD-Q4_K_XL.gguf \\
    --mmproj unsloth/Muse-Glimmer-30B-GGUF/mmproj-BF16.gguf \\
    --temp 1.0 \\
    --top-p 0.95 \\
    --top-k 64 \\
    --alias "unsloth/Muse-Glimmer-30B-GGUF" \\
    --port 8001
```

{% endstep %}
{% endstepper %}

### :wrench: 微调

你现在可以使用 [Unsloth](https://github.com/unslothai/unsloth) 在 **24GB 显卡**上对 Meta 的 Muse Glimmer-30B 进行微调了！Muse Glimmer 是一个 30B 参数的多模态智能体模型，针对本地部署进行了优化。

我们提供多个 Kaggle 笔记本，可免费使用 30 小时，并配备 2 张 Tesla T4 GPU！

{% columns %}
{% column %}
Muse Glimmer 视觉 Kaggle

{% embed url="<https://www.kaggle.com/notebooks/welcome?src=https://github.com/unslothai/notebooks/blob/main/nb/Kaggle-Muse_Glimmer_(30B)-Vision.ipynb&accelerator=nvidiaTeslaT4>" %}
{% endcolumn %}

{% column %}
Muse Glimmer 对话 Kaggle

{% embed url="<https://www.kaggle.com/notebooks/welcome?src=https://github.com/unslothai/notebooks/blob/main/nb/Kaggle-Muse_Glimmer_(30B)-Conversational.ipynb&accelerator=nvidiaTeslaT4>" %}
{% endcolumn %}
{% endcolumns %}

### 基准测试

<figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FlBA3dI7za973jBKMKT8D%2FScreenshot%202026-08-10%20at%202.28.04%E2%80%AFAM.png?alt=media&amp;token=c80b2746-dedc-4bac-bf17-645b3368599d" alt=""><figcaption></figcaption></figure>

| 类别        | 基准                             |                Muse Glimmer-30B 高推理               |                  Gemma4-31B 思考模式                  |                 Qwen3.6-27B 思考模式                 |
| --------- | ------------------------------ | :-----------------------------------------------: | :-----------------------------------------------: | :----------------------------------------------: |
| *通用智能体*   | MCP Atlas（公开）                  |                      **75.5**                     |                        54.2                       |                       62.5                       |
|           | DeepSearch QA                  |                      **74.6**                     |                        61.7                       |                       71.1                       |
|           | 𝛕3-Banking                    |                      **23.5**                     |                        15.1                       |                       16.7                       |
|           | WildClawBench                  |                      **47.6**                     |                        37.6                       |                       43.2                       |
|           | GDPVal-AA v2                   |                        953                        |                        811                        |                     **1141**                     |
|           | Gaia2                          |                      **43.3**                     |                        36.4                       |                       40.0                       |
|           | SkillsBench（含技能）               |                        44.3                       |                        32.4                       |                     **46.6**                     |
|           | OSWorld-Verified               |                        65.9                       |                        58.5                       |                     **75.6**                     |
| *智能体编码*   | SWE-Bench Pro                  |                      **51.2**                     |                        36.9                       |                       50.2                       |
|           | SWE-Bench Verified             |                        76.0                       |                        66.6                       |                     **77.2**                     |
|           | TerminalBench 2.1（含 terminus2） |                        51.7                       |                        43.4                       |                     **60.7**                     |
|           | SciCode                        |                      **43.6**                     |                        43.4                       |                       39.8                       |
| *多模态*     | Charxiv 推理                     |                      **78.8**                     |                        77.7                       |                       78.4                       |
|           | ScreenSpot Pro                 |                        75.4                       |                        75.9                       |                     **76.1**                     |
|           | OmniDocBench v1.5              |                        75.8                       |                        72.5                       |                     **77.8**                     |
|           | MMMU Pro                       |                         74                        |                         73                        |                      **75**                      |
|           |                                |                                                   |                                                   |                                                  |
| *安全*      | CI 记忆                          |           <p>违规率（↓）：26.4<br>覆盖率：64.8</p>          |  <p>违规率（↓）： <strong>12.1</strong><br>覆盖率：53.0</p> | <p>违规率（↓）：53.4<br>覆盖率： <strong>66.9</strong></p> |
|           | Siren AgentDojo                | <p>攻击成功率（↓）：28.4<br>效用： <strong>94.2</strong></p> | <p>攻击成功率（↓）： <strong>25.6</strong><br>效用：90.8</p> |          <p>攻击成功率（↓）：40.3<br>效用：92.7</p>         |
|           |                                |                                                   |                                                   |                                                  |
| *通用能力与推理* | IFBench                        |                      **77.0**                     |                        76.0                       |                       70.8                       |
|           | AIME 2026                      |                      **94.7**                     |                        89.2                       |                       94.1                       |
|           | GPQA Diamond（AA）               |                        83.5                       |                      **85.7**                     |                       84.2                       |
|           | HLE 文本（AA）                     |                        22.0                       |                      **23.6**                     |                       23.1                       |
|           | AA-LCR                         |                      **80.0**                     |                        68.3                       |                       73.3                       |
|           | Beam128K                       |                      **65.1**                     |                        58.2                       |                       63.0                       |


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:

```
GET https://unsloth.ai/docs/zh/mo-xing/muse-glimmer.md?ask=<question>&goal=<endgoal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.