> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/zh/mo-xing/muse-spark-open.md).

# Meta Muse Spark Open - 本地运行指南

了解如何运行 Meta 的新 Muse Spark Open 模型。

Muse Spark Open 是 Meta 的新 **816B 参数** MoE 模型（约 42.7B 激活），专为多模态编码和智能体式工作流打造。Muse-Spark-Open-**816B-A42B** 支持 **文本、图像、视频和音频输入**、文本输出，以及一个 **100万 token 上下文窗口**.

本指南介绍如何使用 Unsloth 运行 Meta Superintelligence Labs 的 Muse Spark Open [动态 GGUF 文件](https://sites.gitbook.com/preview/site_mXXTe/~/revisions/OKhxydnrrRuNu350geRP/basics/dynamic-3.0-ggufs) 以获得最佳性能，使用 [Unsloth Desktop](https://sites.gitbook.com/preview/site_mXXTe/~/revisions/OKhxydnrrRuNu350geRP/models/muse-spark-1.2#unsloth-guide) 或 llama.cpp。2 位量化可适用于具有 256GB RAM、VRAM 或统一内存的设备。感谢 Meta 提供 Unsloth 首日访问权限。 [**Muse-Spark-Open-816B-A42B-GGUF**](https://huggingface.co/unsloth/Muse-Spark-Open-816B-A42B-GGUF)

### 使用指南

Muse Spark Open 是一个原生多模态推理模型，支持工具使用和测试时推理。Muse Spark Open 还针对长程编码任务进行了额外训练，包括整仓库生成、大型端到端项目和自动研究。

该 **2 位** `UD-IQ2_XXS` 量化版本可放入 256GB RAM，而 8 位需要 900GB RAM。

#### 硬件要求

Muse Spark Open 大约需要 **1.63 TB 用于全精度 BF16 语言模型权重** 在运行时开销之前。Unsloth 动态量化支持 MoE 架构，并使用模型特定的量化方案，在降低内存需求的同时保持准确性。

**表：Muse Spark Open 硬件要求** （单位 = 总内存：RAM + VRAM，或统一内存）。

| 1 位        | 2 位        | 3 位        | 4 位    | 6 位    | 8 位        |
| ---------- | ---------- | ---------- | ------ | ------ | ---------- |
| 180-212 GB | 250-316 GB | 346-410 GB | 512 GB | 640 GB | 870-950 GB |

{% hint style="info" %}
通常情况下，你的可用总内存至少应当大于你下载的量化模型大小。若不够，llama.cpp 可以使用部分 RAM / 磁盘卸载，但生成速度会更慢。更长的上下文长度也需要额外内存。
{% endhint %}

#### 推荐设置 <a href="#thinking-settings" id="thinking-settings"></a>

Muse Spark Open 是一个推理模型，支持 low、medium、high 和 xhigh 推理强度。

Muse Spark Open 的推荐推理参数：

* `temperature = 1.0`
* `top_p = 1.0`
* `top_k = 0 或已禁用`

**最大上下文长度**: `1,048,576`

## 运行 Muse Spark Open 教程

由于量化 **Muse-Spark-Open-816B-A42B** 有多个尺寸，因此模型的推荐起点是 [**动态**](/docs/zh/ji-chu-zhi-shi/dynamic-3.0-ggufs.md) 2**位**. Muse-Spark-Open-816B-A42B[ GGUF](https://huggingface.co/unsloth/Muse-Spark-Open-816B-A42B-GGUF).

<a href="/docs/zh/mo-xing/muse-glimmer.md#unsloth-guide" class="button primary">🦥 Unsloth 指南</a><a href="/pages/109c22d0c1d136d31076df8bc2667ebda88e2601#llama.cpp-guide" class="button primary">🦙 Llama.cpp 指南</a>

### 🦥 Unsloth 指南

Muse Spark Open 现在可以在 Unsloth Desktop 中运行和微调，这是我们新的本地 AI 开源桌面应用。Unsloth 可让你在本地运行模型，支持 **MacOS、Windows**、Linux，以及：

* 搜索、下载、 [运行 GGUF 文件](/docs/zh/xin/studio.md#run-models-locally) 以及 safetensor 模型
* [**自我修复** 工具调用](/docs/zh/xin/studio.md#execute-code--heal-tool-calling) + **网页搜索**
* [**代码执行**](/docs/zh/xin/studio.md#run-models-locally) （Python、Bash）
* [自动推理](https://unsloth.ai/docs/desktop#feature-deep-dive) 参数调优（temp、top-p 等）
* 通过 llama.cpp 实现快速 CPU + GPU 推理
* [训练 LLM](/docs/zh/xin/studio.md#no-code-training) 速度快 2 倍，VRAM 减少 70%

{% stepper %}
{% step %}

#### **设置 Unsloth**

最简单的入门方式是下载 [Unsloth Desktop 应用](/docs/zh/desktop.md).

<a href="https://unsloth.ai/download" class="button primary" data-icon="down-to-bracket">下载 Unsloth</a>

* <i class="fa-apple">:apple:</i> [下载 macOS 版](https://unsloth.ai/download/mac)
* <i class="fa-windows">:windows:</i> [下载 Windows 版](https://unsloth.ai/download/windows)
* <i class="fa-linux">:linux:</i> [下载 Linux 版](https://unsloth.ai/download/linux)

你也可以手动安装：

{% tabs %}
{% tab title="本地安装" %}
**MacOS、Linux、WSL：**

```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```

**Windows：**

```powershell
irm https://unsloth.ai/install.ps1 | iex
```

{% endtab %}

{% tab title="Docker" %}
该 [Unsloth Docker 镜像](https://hub.docker.com/r/unsloth/unsloth) `unsloth/unsloth` 可在 Docker 上获取。 [阅读指南。](https://unsloth.ai/docs/get-started/install/docker)
{% endtab %}

{% tab title="Homebrew" %}
安装 Unsloth Desktop：

{% code collapsedlinecount="10" %}

```bash
brew install --cask unsloth
```

{% endcode %}

更新 Unsloth Desktop：

```bash
brew upgrade --cask unsloth
```

{% endtab %}

{% tab title="WinGet" %}
安装 Unsloth Desktop：

```powershell
winget install --id UnslothAI.Unsloth -e
```

更新 Unsloth Desktop：

```powershell
winget upgrade --id UnslothAI.Unsloth -e
```

{% endtab %}
{% endtabs %}
{% endstep %}

{% step %}

#### 启动 Unsloth，并搜索并下载 Muse Spark Open

首次启动时，前往“模型中心”选项卡，在搜索栏中搜索 Muse Spark Open，并下载你想要的模型和量化版本。
{% endstep %}

{% step %}

#### 运行 Muse Spark Open

在使用 Unsloth Desktop 时，推理参数应当会自动设置，不过你仍然可以手动修改。你也可以编辑上下文长度、聊天模板和其他设置。你可以运行 GGUF 文件、safetensors 和 MLX 文件。

更多信息请查看我们的 [Unsloth 推理指南](/docs/zh/xin/studio/chat.md).

<figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F2pHPTTp37UsjRmbCAzfM%2Fimage.png?alt=media&amp;token=f0840bf7-e08b-4b73-bdec-24caae22a29d" alt=""><figcaption></figcaption></figure>
{% endstep %}

{% step %}

#### 通过 Unsloth API 提供 Muse Spark Open 服务

你可以使用 `unsloth run` 命令，并使用 `llama-server` 运行时标志，包括上下文大小、GPU 层、线程、采样、网络和工具配置。更多信息请参阅我们的 [API 文档](/docs/zh/ji-chu-zhi-shi/api.md) 或 [unsloth start](/docs/zh/ji-cheng/unsloth-start.md).

```bash
unsloth run --model unsloth/Muse-Spark-Open-816B-A42B-GGUF:UD-IQ2_XXS
```

{% endstep %}

{% step %}

#### Unsloth 现已就绪

你还可以通过 Unsloth Desktop 使用 Muse Spark Open 完成许多其他操作，例如：

* **连接工具：** [Claude Code](/docs/zh/ji-chu-zhi-shi/claude-code.md), [Codex](/docs/zh/ji-chu-zhi-shi/codex.md), [网页搜索](/docs/zh/xin/studio/chat.md#advanced-web-search), [MCP](/docs/zh/ji-chu-zhi-shi/mcp.md) 等等
* **训练模型：** 微调文本、扩散， [嵌入](/docs/zh/ji-chu-zhi-shi/embedding-finetuning.md)等更多内容
* **生成媒体：** 创建并训练 [图像](/docs/zh/ji-chu-zhi-shi/diffusion-image.md)、视频， [TTS](/docs/zh/ji-chu-zhi-shi/text-to-speech-tts-fine-tuning.md) 在本地
  {% endstep %}
  {% endstepper %}

### KLD 基准测试

我们对 Muse Spark Open GGUF 进行了 KLD 基准测试，涵盖通用任务和聊天任务。Muse 的 UD-3 量化显示 UD-Q4\_K\_XL 的 KLD 非常小（越低越好）。Q3\_K\_XL 也相当合理。

<figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FwQAj1r2xtQU78NJLxAce%2Fmuse_spark_open_816b_kld_vs_disk.png?alt=media&amp;token=2a97b134-0deb-414b-b855-56d25a7fd1d6" alt=""><figcaption></figcaption></figure>

对于 top-1% 准确率，我们也在通用任务和聊天任务上进行了测试——低于 UD-IQ2\_S 的量化版本会降低通用任务表现，因此我们通常建议将 UD-IQ2\_S 作为智能体任务的最低可用量化。聊天风格任务用最小量化版本也能正常工作。

<figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FwcFg5X5xzxrMiTzzzZIA%2Fmuse_spark_open_816b_top1_vs_disk.png?alt=media&amp;token=3125af4a-4ecd-47eb-8a00-12960c1239b4" alt=""><figcaption></figcaption></figure>

### 🦙 Llama.cpp 指南

本指南将使用 Muse-Spark-Open-816B-A42B 的动态 2 位版本。参见： [Muse-Spark-Open-816B-A42B GGUF](https://huggingface.co/unsloth/Muse-Spark-Open-816B-A42B-GGUF)

{% stepper %}
{% step %}
安装指定版本的 llama.cpp。你也可以按照下面的编译说明操作。将 `-DGGML_CUDA=ON` 改为 `-DGGML_CUDA=OFF` 如果你没有 GPU，或者只想进行 CPU 推理。 **对于 Apple Mac / Metal 设备**，设置 `-DGGML_CUDA=OFF` 然后按常规继续——Metal 支持默认开启。\n\n注意 <https://github.com/ggml-org/llama.cpp/pull/30616> 需要合并后，才能从 main 构建成功——否则请使用我们在以下地址提供的预编译版本： <https://github.com/unslothai/llama.cpp>

```bash
apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \\
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp
```

{% endstep %}

{% step %}
要运行模型，你可以这样做：

{% code overflow="wrap" %}

```bash
pip install -U "huggingface_hub[cli]"
hf download unsloth/Muse-Spark-Open-816B-A42B-GGUF \\
    --local-dir unsloth/Muse-Spark-Open-816B-A42B-GGUF \\
    --include "*UD-IQ2_XXS*" # 2 位请使用 "*IQ2_XXS*"
```

{% endcode %}
{% endstep %}

{% step %}
然后运行它：

{% code overflow="wrap" %}

```bash
./llama.cpp/llama-cli \\
    --model unsloth/Muse-Spark-Open-816B-A42B-GGUF/UD-IQ2_XXS/Muse-Spark-Open-816B-A42B-UD-IQ2_XXS-00001-of-00006.gguf \\
    --temp 1.0 \\
    --top-p 1.0 \\
    --top-k 64
```

{% endcode %}
{% endstep %}
{% endstepper %}

### 官方基准测试

Meta 将 Muse Spark Open 与其他同规模、同架构的领先开源权重模型进行了比较。对于 Muse Spark Open，在所有基准测试中都启用了 xhigh 推理，并设置 temperature = 1.0、top\_p=1.0、top\_k=disabled。

<table><thead><tr><th width="177.9913330078125" align="center">基准</th><th>Muse Spark Open (xhigh)</th><th>Inkling (xhigh)</th><th>Nemotron 3 Ultra (think)</th><th>Beam</th><th>Mistral Large 4</th><th>Qwen3.8-2.4T-A95B (xhigh)</th><th>GLM 5.3 (max)</th><th>Kimi K3 (max)</th></tr></thead><tbody><tr><td align="center"><strong>通用</strong></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td align="center"><strong>智能体</strong></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td align="center"><strong>JobBench</strong></td><td><strong>61.8</strong></td><td>31.1</td><td>27.2</td><td>-</td><td>-</td><td>52.7</td><td>61.4</td><td>54.3</td></tr><tr><td align="center"><strong>MCP-Atlas</strong></td><td><strong>89.2</strong></td><td>76.0</td><td>63.1</td><td>78.7</td><td>-</td><td>84.5</td><td>84.2</td><td>82.3</td></tr><tr><td align="center"><strong>GDPVal-AA v2</strong></td><td>1401</td><td>1079</td><td>1016</td><td>-</td><td>1424</td><td>1613</td><td><strong>1653</strong></td><td>1537</td></tr><tr><td align="center"><strong>Artificial Analysis 智能指数</strong></td><td>39</td><td>26</td><td>23</td><td>-</td><td>38</td><td>40</td><td><strong>45</strong></td><td>44</td></tr><tr><td align="center"><strong>OSWorld 验证</strong></td><td>80.4</td><td>40.1</td><td>-</td><td><strong>-</strong></td><td>-</td><td>-</td><td>-</td><td><strong>84.8</strong></td></tr><tr><td align="center"><strong>Toolathlon 验证</strong></td><td>72.8</td><td>45.5</td><td>34.3</td><td><strong>-</strong></td><td>-</td><td>72.5</td><td>73.0</td><td><strong>76.5</strong></td></tr><tr><td align="center"><strong>知识与推理</strong></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td align="center"><strong>HLE-Diamond（无工具）</strong></td><td><strong>26.1</strong></td><td>11.2</td><td>8.9</td><td>-</td><td>-</td><td>17.3</td><td>16.4</td><td>22.2</td></tr><tr><td align="center"><strong>AA 全知</strong></td><td><strong>25</strong></td><td>2</td><td>0</td><td>13</td><td>-5</td><td>4</td><td>14</td><td>20</td></tr><tr><td align="center"><strong>SciCode</strong></td><td>58.5</td><td>47.0</td><td>40.3</td><td>49.7</td><td>54.2</td><td>54.1</td><td>59.0</td><td><strong>59.5</strong></td></tr><tr><td align="center"><strong>HLE（含工具）</strong></td><td>61.0</td><td>46.0</td><td>37.4</td><td>51.2</td><td>-</td><td>56.2</td><td><strong>62.5</strong></td><td>56.0</td></tr><tr><td align="center"><strong>GPQA Diamond</strong></td><td>89.0</td><td>87.2</td><td>86.7</td><td>90.5</td><td>-</td><td><strong>93.5</strong></td><td>91.7</td><td><strong>93.5</strong></td></tr><tr><td align="center"><strong>编码</strong></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td align="center"><strong>DeepSWE 1.1</strong> 首选框架</td><td>60</td><td>-</td><td>-</td><td>44</td><td>62</td><td>57</td><td>67</td><td><strong>68</strong></td></tr><tr><td align="center"><strong>SWE-Atlas-QnA</strong> 首选框架</td><td>58</td><td>-</td><td>-</td><td>35</td><td>59</td><td>62</td><td>59</td><td><strong>66</strong></td></tr><tr><td align="center"><strong>Terminal-Bench 2.1</strong> Terminus 2 智能体</td><td>76.4</td><td>55.1</td><td>53.9</td><td>80.1</td><td>-</td><td>82.0</td><td>83.9</td><td><strong>85.0</strong></td></tr><tr><td align="center"><strong>多模态</strong></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td align="center"><strong>ZeroBench（含工具）</strong></td><td><strong>50.0</strong></td><td>14.0</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>41.0</td></tr><tr><td align="center"><strong>BabyVision（含工具）</strong></td><td>80.2</td><td>34.2</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td><strong>85.7</strong></td></tr><tr><td align="center"><strong>SimpleVQA（含工具）</strong></td><td><strong>73.6</strong></td><td>52.3</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>71.9</td></tr><tr><td align="center"><strong>WorldVQA（含工具）</strong></td><td>49.4</td><td>18.0</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td><strong>51.0</strong></td></tr><tr><td align="center"><strong>IntPhys2</strong></td><td><strong>68.3</strong></td><td>55.2</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>60.3</td></tr><tr><td align="center"><strong>VideoMMEv2</strong></td><td>61.5</td><td>36.9</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td><strong>65.4</strong></td></tr><tr><td align="center"><strong>安全</strong></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td align="center"><strong>FORTRESS 对抗（静态）</strong> 越低越好</td><td>ARS: 5.8 ORS: 17.4</td><td>ARS: 25.0 ORS: 7.4</td><td>ARS: 26.4 ORS: 13.3</td><td>-</td><td>-</td><td>ARS: 21.6 ORS: 12.8</td><td>ARS: 28.2 ORS: 3.2</td><td>ARS: 26.7 ORS: 2.7</td></tr><tr><td align="center"><strong>StrongREJECT v2（自适应）</strong> 越低越好</td><td><strong>0.5</strong></td><td>86.4</td><td>80.7</td><td>-</td><td>-</td><td>65.6</td><td>62.9</td><td>66.6</td></tr></tbody></table>


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://unsloth.ai/docs/zh/mo-xing/muse-spark-open.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.