> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/zh/mo-xing/nemotron-3.5-bolt.md).
# NVIDIA Nemotron 3.5 Bolt：本地运行指南
使用 Unsloth GGUFs 在本地运行 Nemotron 3.5 Bolt。
NVIDIA Nemotron-3.5-Bolt-**E4B** 和 Nemotron-3.5-Bolt-**74B-A9B** 是 NVIDIA 推出的新开源模型。Bolt-74B-A9B 是一个 **74B 参数**，由 Super VL 压缩而来的 9B 激活混合推理 MoE 模型。它支持 **文本、图像和视频**、工具调用和 **128K 上下文** 窗口。可通过 [Unsloth Desktop](/docs/zh/desktop.md) 或 llama.cpp 在本地运行该模型。
Bolt-E4B-4GB 是一个 **8B 参数** （有效 4B），基于 [Gemma 4](/docs/zh/mo-xing/gemma-4.md) E4B 的模型。它支持 **64K 上下文窗口**、多轮工具调用和可配置推理。下载： [74B-A9B Unsloth GGUF](https://huggingface.co/unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF) · [E4B NVIDIA GGUF](https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB).
运行 Nemotron-3.5-Bolt 指南Nemotron-3.5-Super-VL 指南
### ⚙️ 使用指南
**Nemotron 3.5 Bolt 要求**
对于 **74B-A9B** 短上下文使用，预算大约 **32GB RAM 或统一内存**; **48–64GB** 会更有余量。 **E4B** 大约可在 **4GB VRAM** 或 **6GB RAM。**
| 模型 / 量化 | 下载大小 | 内存建议 |
| --------------------------- | ------ | ------------------- |
| **E4B** · Q4\_K\_M（4 位） | 6.18GB | \~4GB VRAM + 系统 RAM |
| **74B-A9B** · IQ2\_XXS（2 位） | 22GB | 24–32GB RAM |
* 内存使用会随着上下文和运行时而变化。E4B 的约 4GB 数值指的是 VRAM，而不是系统总 RAM 或下载大小。74B-A9B 模型需要额外内存来处理图像/视频和视觉投影器。下载大小指的是 GGUF 权重。
{% hint style="info" %}
**74B-A9B** 使用 **LiLiCorr** 在 **NVFP4** （998MB）草稿模型，默认在 Unsloth 中启用以加快输出速度。它还需要大约 1–2GB 额外内存。E4B 还有一个单独的可选 [DFlash 起草器](https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB-DFlash).
{% endhint %}
#### 推荐设置
Unsloth 会自动配置推理设置。74B-A9B 示例使用默认采样设置。对于 E4B，NVIDIA 推荐 **温度 1.0** 和 **top\_p 0.95** ，无论是否启用推理。
* **上下文：** 最多 **74B-A9B 可达 128K** 或 **E4B 可达 64K**.
### 运行 Nemotron 3.5 Bolt 指南
本教程将使用 **22GB 74B-A9B IQ2\_XXS** 量化版本。
#### 🦥 在 Unsloth Desktop 中运行 Nemotron 3.5 Bolt
直接在 [Unsloth Desktop](https://unsloth.ai/docs/desktop) 上 **macOS、Windows 和 Linux**。在应用中搜索、下载并与模型聊天。
{% stepper %}
{% step %}
#### **安装 Unsloth**
最简单的开始方式是下载 [Unsloth Desktop 应用](/docs/zh/desktop.md).
下载 Unsloth
* :apple: [下载 macOS 版](https://unsloth.ai/download/mac)
* :windows: [下载 Windows 版](https://unsloth.ai/download/windows)
* :linux: [下载 Linux 版](https://unsloth.ai/download/linux)
你也可以手动安装：
{% tabs %}
{% tab title="本地安装" %}
**MacOS、Linux、WSL：**
```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```
**Windows：**
```powershell
irm https://unsloth.ai/install.ps1 | iex
```
{% endtab %}
{% tab title="Docker" %}
该 [Unsloth Docker 镜像](https://hub.docker.com/r/unsloth/unsloth) `unsloth/unsloth` 可在 Docker 上获取。 [阅读指南。](https://unsloth.ai/docs/get-started/install/docker)
{% endtab %}
{% tab title="Homebrew" %}
安装 Unsloth Desktop：
{% code collapsedlinecount="10" %}
```bash
brew install --cask unsloth
```
{% endcode %}
更新 Unsloth Desktop：
```bash
brew upgrade --cask unsloth
```
{% endtab %}
{% tab title="WinGet" %}
安装 Unsloth Desktop：
```powershell
winget install --id UnslothAI.Unsloth -e
```
更新 Unsloth Desktop：
```powershell
winget upgrade --id UnslothAI.Unsloth -e
```
{% endtab %}
{% endtabs %}
{% endstep %}
{% step %}
#### **设置并运行 Nemotron 3.5 Bolt**
前往 [Unsloth Chat](/docs/zh/xin/studio/chat.md) 或 Model hub，并在 **Nemotron 3.5 Bolt** 搜索栏中搜索并下载你需要的模型和量化版本。现在你已经可以运行该模型了！
使用 Unsloth 时，推理参数应会自动设置，不过你仍然可以手动更改。你也可以编辑上下文长度、聊天模板和其他设置。
要尝试图像理解，请附加一张 PNG 或 JPEG，然后提问 **“这张图片是什么？”**
更多信息可查看我们的 [Unsloth 推理指南](/docs/zh/xin/studio/chat.md).
{% endstep %}
{% step %}
使用 Unsloth API 部署 Nemotron 3.5 Bolt
使用 `unsloth run`部署 Nemotron 3.5 Bolt。你可以传入 llama-server 标志来设置上下文大小、GPU 层数和其他设置。请相应更改模型名称。查看我们的 [API 文档](https://unsloth.ai/docs/basics/api) 或 [unsloth start](https://unsloth.ai/docs/integrations/unsloth-start).
{% code overflow="wrap" %}
```bash
unsloth run --model unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF:IQ2_XXS \\
--ctx-size 4096 --parallel 1 --alias nemotron-bolt \\
--host 127.0.0.1 --port 8001
```
{% endcode %}
{% endstep %}
{% step %}
#### Unsloth 现已就绪
你还可以通过 Unsloth Desktop 用 Nemotron 3.5 Bolt 做许多其他事情，例如：
* **连接工具：** [Claude Code](/docs/zh/ji-chu-zhi-shi/claude-code.md), [Codex](/docs/zh/ji-chu-zhi-shi/codex.md), [网页搜索](/docs/zh/xin/studio/chat.md#advanced-web-search), [MCP](/docs/zh/ji-chu-zhi-shi/mcp.md) 等等
* **训练模型：** 微调文本、扩散模型、 [嵌入](/docs/zh/ji-chu-zhi-shi/embedding-finetuning.md)等更多内容
* **生成媒体：** 创建并训练 [图像](/docs/zh/ji-chu-zhi-shi/diffusion-image.md)、视频、 [TTS](/docs/zh/ji-chu-zhi-shi/text-to-speech-tts-fine-tuning.md) 在本地
{% endstep %}
{% endstepper %}
#### 🦙 在 llama.cpp 中运行 Nemotron 3.5 Bolt
{% stepper %}
{% step %}
**构建 llama.cpp**
安装最新版本的 llama.cpp。你也可以按照下面的构建说明操作。将 `-DGGML_CUDA=ON` 改为 `-DGGML_CUDA=OFF` 如果你没有 GPU，或者只想进行 CPU 推理。 **对于 Apple Mac / Metal 设备**，将 `-DGGML_CUDA=OFF` 然后照常继续——Metal 支持默认已开启。
```bash
apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \\
-DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp
```
视频需要同时具备 `ffmpeg` 和 `ffprobe` 位于你的 PATH 中。请从这个 `llama.cpp` 目录继续执行下面的命令。
{% endstep %}
{% step %}
**下载 Unsloth GGUF**
下载 `IQ2_XXS` 以及用于图像/视频输入的视觉投影器。要下载其他版本，请修改下面的量化名称：
{% code overflow="wrap" %}
```bash
python3 -m venv .venv
source .venv/bin/activate
pip install -U huggingface_hub
hf download unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF \\
--local-dir models/nemotron-bolt \\
--include "*IQ2_XXS*.gguf" "*mmproj*.gguf"
```
{% endcode %}
设置下载的模型及其对应投影器的路径。对于分片 GGUF，请保持所有分片在一起，并指向 **第一个分片**。请调整下面的文件名以匹配你的下载。
```bash
MODEL_FILE="models/nemotron-bolt/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-IQ2_XXS.gguf"
MMPROJ_FILE="models/nemotron-bolt/mmproj-BF16.gguf"
```
{% endstep %}
{% step %}
**运行文本和图像**
对于文本：
```bash
./llama.cpp/llama-cli \\
--model "$MODEL_FILE" --ctx-size 4096 \\
--prompt "解释一下视觉语言模型的作用。"
```
对于图像，请将路径设置为你自己的 PNG 或 JPEG：
{% code overflow="wrap" %}
```bash
./llama.cpp/llama-mtmd-cli \\
--model "$MODEL_FILE" --mmproj "$MMPROJ_FILE" \\
--ctx-size 4096 \\
--image /path/to/picture.jpg \\
--prompt "描述这张图片并提取其中可见的文本。"
```
{% endcode %}
{% endstep %}
{% step %}
**运行视频**
启动多模态 CLI：
```bash
./llama.cpp/llama-mtmd-cli \\
--model "$MODEL_FILE" --mmproj "$MMPROJ_FILE" \\
--ctx-size 4096
```
然后在 **CLI 中输入这些行**:
```
/video /path/to/video.mp4
总结视频并描述关键事件。
```
支持最长 2 分钟的 MP4 片段。1080p 时最多使用 1 FPS / 128 帧，或 720p 时使用 2 FPS / 256 帧。请先用短片段测试，并根据需要增加上下文。
{% endstep %}
{% endstepper %}
### 基准测试
---
# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.
## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.
Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:
```
GET https://unsloth.ai/docs/zh/mo-xing/nemotron-3.5-bolt.md?ask=&goal=
```
`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.