> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/zh/mo-xing/nemotron-3.5-bolt.md).
# NVIDIA Nemotron 3.5 Bolt：本地运行指南
使用 Unsloth GGUFs 在本地运行 Nemotron 3.5 Bolt。
NVIDIA Nemotron-3.5-Bolt-74B-A9B 是一个 **74B 参数，9B 激活** 从 Super VL 压缩而来的混合推理 MoE 模型。它支持 **文本、图像和视频**、工具调用以及一个 **128K 上下文** 窗口。Unsloth 的量化模型可在 Unsloth Desktop 或 llama.cpp 中本地运行。
其 **Hybrid LatentMoE** 架构结合了 Mamba-2、注意力机制和专家混合层。NVIDIA 的 IQ2 版本将大多数专家权重以 **2.06 位 IQ2\_XXS**的形式存储，同时将 Mamba 层保留为 NVFP4，输出头保留为 Q8\_0。 **Unsloth 量化模型：** [NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF](https://huggingface.co/unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF)
运行 Nemotron-3.5-Bolt 指南Nemotron-3.5-Super-VL 指南
### **⚙️ 使用指南**
**Nemotron 3.5 Bolt 要求**
对于短上下文使用，建议预留约 **32GB 内存或统一内存**; **48–64GB** 可提供更大的余量。Bolt 提供 **1 位和 2 位**:
| 量化 | 下载大小 | 估计最低内存 |
| -------------- | ---- | ------- |
| 2 位 · IQ2\_XXS | 22GB | 24-32GB |
* 内存数值为短上下文使用的估算值。更长的上下文以及图像/视频会因缓存和视觉投影器而需要额外内存。下载大小指 GGUF 权重。
{% hint style="info" %}
Nemotron 3.5 Bolt 默认使用一个 **LiLiCorr** 位于 **NVFP4** （998MB），以在 Unsloth 中默认实现更快输出。它还需要大约额外 1–2GB 内存。
{% endhint %}
#### 推荐设置
Unsloth 会自动配置推理设置。llama.cpp 示例使用默认采样设置，因为 NVIDIA 尚未指定 Bolt 的特定 temperature 或 top-p 值。
* **上下文：** 从 4K 开始，根据内存情况逐步增加，最多可达 128K tokens。
* **聊天模板：** 使用模型自带的模板。
### 运行 Nemotron 3.5 Bolt 指南
我们将使用 **22GB `IQ2_XXS`** 量化版本。
#### 🦥 在 Unsloth Desktop 中运行 Nemotron 3.5 Bolt
直接在 [Unsloth Desktop](https://unsloth.ai/docs/desktop) 上 **macOS、Windows 和 Linux**。在应用中搜索、下载并与模型聊天。
{% stepper %}
{% step %}
#### **安装 Unsloth**
最简单的入门方式是下载 [Unsloth Desktop 应用](/docs/zh/desktop.md).
下载 Unsloth
* :apple: [下载适用于 macOS 的版本](https://unsloth.ai/download/mac)
* :windows: [下载适用于 Windows 的版本](https://unsloth.ai/download/windows)
* :linux: [下载适用于 Linux 的版本](https://unsloth.ai/download/linux)
你也可以手动安装：
{% tabs %}
{% tab title="本地安装" %}
**MacOS、Linux、WSL：**
```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```
**Windows：**
```powershell
irm https://unsloth.ai/install.ps1 | iex
```
{% endtab %}
{% tab title="Docker" %}
该 [Unsloth Docker 镜像](https://hub.docker.com/r/unsloth/unsloth) `unsloth/unsloth` 可在 Docker 上获取。 [阅读指南。](https://unsloth.ai/docs/get-started/install/docker)
{% endtab %}
{% tab title="Homebrew" %}
安装 Unsloth Desktop：
{% code collapsedlinecount="10" %}
```bash
brew install --cask unsloth
```
{% endcode %}
更新 Unsloth Desktop：
```bash
brew upgrade --cask unsloth
```
{% endtab %}
{% tab title="WinGet" %}
安装 Unsloth Desktop：
```powershell
winget install --id UnslothAI.Unsloth -e
```
更新 Unsloth Desktop：
```powershell
winget upgrade --id UnslothAI.Unsloth -e
```
{% endtab %}
{% endtabs %}
{% endstep %}
{% step %}
#### **设置并运行 Nemotron 3.5 Bolt**
前往 [Unsloth Chat](/docs/zh/xin/studio/chat.md) 或 Model hub，搜索 **Nemotron 3.5 Bolt** 在搜索栏中输入并下载你想要的模型和量化版本。现在你已准备好运行该模型！
使用 Unsloth 时，推理参数应会自动设置，不过你仍然可以手动更改。你也可以编辑上下文长度、聊天模板和其他设置。
若要尝试图像理解，请附加 PNG 或 JPEG 并询问 **“这张图片是什么？”**
更多信息请查看我们的 [Unsloth 推理指南](/docs/zh/xin/studio/chat.md).
{% endstep %}
{% step %}
使用 Unsloth API 部署 Nemotron 3.5 Bolt
使用 `unsloth run`。你可以传入 llama-server 标志来设置上下文大小、GPU 层数和其他设置。请参阅我们的 [API 文档](https://unsloth.ai/docs/basics/api) 或 [unsloth start](https://unsloth.ai/docs/integrations/unsloth-start).
{% code overflow="wrap" %}
```bash
unsloth run --model unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF:IQ2_XXS \\
--ctx-size 4096 --parallel 1 --alias nemotron-bolt \\
--host 127.0.0.1 --port 8001
```
{% endcode %}
{% endstep %}
{% step %}
#### Unsloth 现已就绪
你还可以通过 Unsloth Desktop 用 Nemotron 3.5 Bolt 做很多其他事情，例如：
* **连接工具：** [Claude Code](/docs/zh/ji-chu-zhi-shi/claude-code.md), [Codex](/docs/zh/ji-chu-zhi-shi/codex.md), [网页搜索](/docs/zh/xin/studio/chat.md#advanced-web-search), [MCP](/docs/zh/ji-chu-zhi-shi/mcp.md) 以及更多
* **训练模型：** 微调文本、扩散模型、 [嵌入](/docs/zh/ji-chu-zhi-shi/embedding-finetuning.md)，以及更多
* **生成媒体：** 创建并训练 [图像](/docs/zh/ji-chu-zhi-shi/diffusion-image.md)、视频、 [TTS](/docs/zh/ji-chu-zhi-shi/text-to-speech-tts-fine-tuning.md) 在本地
{% endstep %}
{% endstepper %}
### KLD 基准
进行中
#### 🦙 在 llama.cpp 中运行 Nemotron 3.5 Bolt
{% stepper %}
{% step %}
**构建 llama.cpp**
安装最新版本的 llama.cpp。你也可以按照下面的构建说明进行。将 `-DGGML_CUDA=ON` 改为 `-DGGML_CUDA=OFF` 如果你没有 GPU，或者只想进行 CPU 推理。 **对于 Apple Mac / Metal 设备**，将 `-DGGML_CUDA=OFF` ，然后照常继续——Metal 支持默认开启。
```bash
apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \\
-DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp
```
视频需要同时具备 `ffmpeg` 和 `ffprobe` 在你的 PATH 中。请从此处继续下面的命令 `llama.cpp` 目录。
{% endstep %}
{% step %}
**下载 Unsloth GGUF**
下载 `IQ2_XXS` 以及用于图像/视频输入的视觉投影器。更改下面的量化名称可下载其他版本：
{% code overflow="wrap" %}
```bash
python3 -m venv .venv
source .venv/bin/activate
pip install -U huggingface_hub
hf download unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF \\
--local-dir models/nemotron-bolt \\
--include "*IQ2_XXS*.gguf" "*mmproj*.gguf"
```
{% endcode %}
将路径设置为已下载模型及其对应投影器。对于分片的 GGUF，请保持每个分片在一起，并指向 **第一个分片**。调整下面的文件名以匹配你的下载内容。
```bash
MODEL_FILE="models/nemotron-bolt/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-IQ2_XXS.gguf"
MMPROJ_FILE="models/nemotron-bolt/mmproj-BF16.gguf"
```
{% endstep %}
{% step %}
**运行文本和图像**
对于文本：
```bash
./llama.cpp/llama-cli \\
--model "$MODEL_FILE" --ctx-size 4096 \\
--prompt "解释视觉语言模型的作用。"
```
对于图像，请将路径设置为你自己的 PNG 或 JPEG：
{% code overflow="wrap" %}
```bash
./llama.cpp/llama-mtmd-cli \\
--model "$MODEL_FILE" --mmproj "$MMPROJ_FILE" \\
--ctx-size 4096 \\
--image /path/to/picture.jpg \\
--prompt "描述这张图像并提取任何可见文本。"
```
{% endcode %}
{% endstep %}
{% step %}
**运行视频**
启动多模态 CLI：
```bash
./llama.cpp/llama-mtmd-cli \\
--model "$MODEL_FILE" --mmproj "$MMPROJ_FILE" \\
--ctx-size 4096
```
然后输入以下行 **在 CLI 内**:
```
/video /path/to/video.mp4
总结视频并描述关键事件。
```
支持最长 2 分钟的 MP4 片段。1080p 时最多可使用 1 FPS / 128 帧，或 720p 时最多可使用 2 FPS / 256 帧。请从短片段开始，并在需要时增加上下文。
{% endstep %}
{% endstepper %}
### 基准测试
---
# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.
## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.
Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:
```
GET https://unsloth.ai/docs/zh/mo-xing/nemotron-3.5-bolt.md?ask=&goal=
```
`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.