> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/zh/mo-xing/nemotron-3.5-super-vl.md).

# NVIDIA Nemotron 3.5 Super VL：本地运行指南

使用 Unsloth GGUFs 在本地运行 Nemotron 3.5 Super VL。

NVIDIA Nemotron-3.5-Super-VL-120B-A12B 是一款 **120B 参数，12B 激活** 具有混合推理的 MoE 模型， **最多支持 100 万 token 的上下文**。它支持文本、图像和视频输入，用于文档理解、计算机使用和智能体工作流，并生成文本。

它支持 JSON 输出和工具调用，并包含内置的多 token 预测（MTP）头。Unsloth GGUF 的范围从 **46.1GB（1-bit）到 132GB（8-bit）**。我们还制作了 NVFP4 量化（79GB），并添加了 LiLiCorr DSpark 模块。 **Unsloth 量化：** [NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-GGUF](https://huggingface.co/unsloth/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-GGUF)

<a href="/docs/zh/mo-xing/nemotron-3.5-super-vl.md#run-nemotron-35-super-vl-guide" class="button primary">Nemotron-3.5-Super-VL 指南</a><a href="/docs/zh/mo-xing/nemotron-3.5-bolt.md" class="button secondary">运行 Nemotron-3.5-Bolt 指南</a>

### ⚙️ 使用指南

**Nemotron 3.5 Super VL 需求**

最小的 **1-bit GGUF 为 46.1GB**；请至少预留 **64GB 内存或统一内存**。 **4-bit GGUF 为 86.9GB**，建议大约 **128GB** 。你也可以将模型拆分到系统内存和 GPU VRAM 中。你也可以运行 NVFP4，它是从 NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 直接无损转换而来。

| 量化                  | GGUF 大小 | 估计的最小内存 |
| ------------------- | ------- | ------- |
| UD-IQ1\_M（1-bit）    | 46.1GB  | 64GB    |
| UD-IQ2\_XXS（2-bit）  | 51.1GB  | 64GB    |
| UD-IQ2\_M（2-bit）    | 55.9GB  | 80GB    |
| UD-Q2\_K\_XL（2-bit） | 57.8GB  | 80GB    |
| UD-IQ3\_XXS（3-bit）  | 59.8GB  | 80GB    |
| UD-Q3\_K\_XL（3-bit） | 65.8GB  | 96GB    |
| NVFP4（4-bit）        | 79GB    | 96GB    |
| UD-Q4\_K\_XL（4-bit） | 86.9GB  | 128GB   |
| UD-Q5\_K\_XL（5-bit） | 111GB   | 160GB   |
| UD-Q6\_K\_XL（6-bit） | 121GB   | 160GB   |
| Q8\_0（8-bit）        | 132GB   | 192GB   |

内存数值是 **规划估算** ，针对的是适度上下文，并已预留操作系统、运行时、KV 缓存和视觉投影器的空间。仅 GGUF 文件大小并不等于 RAM 要求。更长的上下文和视频需要更多内存；尽管每个 token 只有 12B 参数处于激活状态，但所有模型权重都必须存储。统一内存只计算一次。

一个 **128GB 统一内存系统**，例如 DGX Spark，符合建议的 4-bit 内存预算。NVIDIA 通过 NIM 文档说明了对 DGX Spark 的支持；这些 GGUF 内存估算并不是实测性能结果。

### 推荐设置

NVIDIA 推荐以下设置：

| 参数            | 值      |
| ------------- | ------ |
| `temperature` | `1.0`  |
| `top_p`       | `0.95` |

从 **16K 上下文** 开始，并在内存允许的情况下逐步增加。该模型最多支持 **100 万 token**，但你的运行时或 NIM 配置文件可能有更低的限制。提示词和输出 token 共享这部分预算。示例一次只处理一个请求。

**开启或关闭思考**

该模型支持 `enable_thinking=True` （默认）用于推理，以及 `enable_thinking=False` 用于直接回答。NVIDIA NIM 通过 chat-template kwargs 接收该设置。对于本地 GGUF，请使用模型的 chat template 和运行时支持的思考控制。

{% hint style="info" %}
Nemotron 3.5 Super VL 自带 **MTP（多 token 预测）**，Unsloth 默认启用以加快输出。你可以在设置中将其关闭。请参阅我们的 [MTP 指南](https://unsloth.ai/docs/models/mtp).
{% endhint %}

### 运行 Nemotron 3.5 Super VL 指南 <a href="#run-nemotron-35-super-vl-guide" id="run-nemotron-35-super-vl-guide"></a>

在本教程中，我们将使用 **UD-Q4\_K\_XL（86.9GB）** 以及大约 **128GB 内存**。如果你的内存更少，请从上面的表格中选择更小的量化版本。

#### 🦥 在 Unsloth Desktop 中运行 Nemotron 3.5 Super VL <a href="#run-nemotron-35-super-vl-in-unsloth-desktop" id="run-nemotron-35-super-vl-in-unsloth-desktop"></a>

直接在 [Unsloth Desktop](https://unsloth.ai/docs/desktop) 上运行 Nemotron 3.5 Super VL **，支持 macOS、Windows 和 Linux**。在应用中搜索、下载并与模型聊天。

{% stepper %}
{% step %}

#### **设置 Unsloth**

最简单的开始方式是下载 [Unsloth Desktop 应用](/docs/zh/desktop.md).

<a href="https://unsloth.ai/download" class="button primary" data-icon="down-to-bracket">下载 Unsloth</a>

* <i class="fa-apple">:apple:</i> [下载 macOS 版本](https://unsloth.ai/download/mac)
* <i class="fa-windows">:windows:</i> [下载 Windows 版本](https://unsloth.ai/download/windows)
* <i class="fa-linux">:linux:</i> [下载 Linux 版本](https://unsloth.ai/download/linux)

你也可以手动安装：

{% tabs %}
{% tab title="本地安装" %}
**MacOS、Linux、WSL：**

```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```

**Windows：**

```powershell
irm https://unsloth.ai/install.ps1 | iex
```

{% endtab %}

{% tab title="Docker" %}
该 [Unsloth Docker 镜像](https://hub.docker.com/r/unsloth/unsloth) `unsloth/unsloth` 可在 Docker 上获取。 [阅读指南。](https://unsloth.ai/docs/get-started/install/docker)
{% endtab %}

{% tab title="Homebrew" %}
安装 Unsloth Desktop：

{% code collapsedlinecount="10" %}

```bash
brew install --cask unsloth
```

{% endcode %}

更新 Unsloth Desktop：

```bash
brew upgrade --cask unsloth
```

{% endtab %}

{% tab title="WinGet" %}
安装 Unsloth Desktop：

```powershell
winget install --id UnslothAI.Unsloth -e
```

更新 Unsloth Desktop：

```powershell
winget upgrade --id UnslothAI.Unsloth -e
```

{% endtab %}
{% endtabs %}
{% endstep %}

{% step %}

#### 设置并运行 Nemotron 3.5 Super VL

前往 [Unsloth Chat](/docs/zh/xin/studio/chat.md) 或 Model hub，并在搜索栏中搜索 Nemotron 3.5 Super VL，下载你想要的模型和量化版本。现在你已经可以运行模型了！

在使用 Unsloth 时，推理参数应自动设置，但你仍然可以手动更改。你也可以编辑上下文长度、聊天模板和其他设置。

要试试图像理解，请附加一张 PNG 或 JPEG，并询问 **“这张图片是什么？”**

<figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FrTV33NAoY62hmlGHaEyw%2Fnemotron-super-vl-unsloth-desktop.png?alt=media&amp;token=e38fc0f5-bae6-442f-8c6f-4e9c54d326aa" alt="" width="563"><figcaption></figcaption></figure>

更多信息请查看我们的 [Unsloth 推理指南](/docs/zh/xin/studio/chat.md).
{% endstep %}

{% step %}

#### 使用 Unsloth API 部署 Nemotron 3.5 Super VL

使用 `unsloth run`部署 Nemotron 3.5 Super VL。你可以传入 llama-server 标志来设置上下文大小、GPU 层数和其他设置。请参阅我们的 [API 文档](https://unsloth.ai/docs/basics/api) 或 [unsloth start](https://unsloth.ai/docs/integrations/unsloth-start).

{% code overflow="wrap" %}

```bash
unsloth run --model unsloth/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-GGUF:UD-IQ2_XXS \\
    --ctx-size 4096 --parallel 1 --alias nemotron-super-vl \\
    --host 127.0.0.1 --port 8001
```

{% endcode %}
{% endstep %}

{% step %}

#### Unsloth 现在已准备就绪

你还可以通过 Unsloth Desktop 用 Nemotron 3.5 Super VL 做很多其他事情，例如：

* **连接工具：** [Claude Code](/docs/zh/ji-chu-zhi-shi/claude-code.md), [Codex](/docs/zh/ji-chu-zhi-shi/codex.md), [网页搜索](/docs/zh/xin/studio/chat.md#advanced-web-search), [MCP](/docs/zh/ji-chu-zhi-shi/mcp.md) 等等
* **训练模型：** 微调文本、扩散、 [嵌入](/docs/zh/ji-chu-zhi-shi/embedding-finetuning.md)等
* **生成媒体：** 创建并训练 [图像](/docs/zh/ji-chu-zhi-shi/diffusion-image.md)、视频、 [TTS](/docs/zh/ji-chu-zhi-shi/text-to-speech-tts-fine-tuning.md) 本地
  {% endstep %}
  {% endstepper %}

### KLD 基准测试

我们使用 UD-3 转换了 Nemotron Super，并进行了通用 KLD 以及一个未见过文本的 KLD 数据集测试，以衡量过拟合情况——总体而言，UD-Q4\_K\_XL 在 KLD 与磁盘空间之间的平衡最好——NVFP4 通常也可以，而 UD-Q3\_K\_XL 也算合理。

<figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FI0Lb9lHn00vouMw6Lj8n%2Fnemotron35_super_vl_kld_vs_disk(2).png?alt=media&amp;token=7aea3a84-5740-45e3-b542-2982133cafdb" alt=""><figcaption></figcaption></figure>

#### 🦙 在 llama.cpp 中运行 Nemotron 3.5 Super VL <a href="#run-nemotron-35-super-vl-in-llama.cpp" id="run-nemotron-35-super-vl-in-llama.cpp"></a>

{% stepper %}
{% step %}
**构建 llama.cpp**

安装最新版本的 llama.cpp。你也可以按照下面的构建说明进行操作。将 `-DGGML_CUDA=ON` 更改为 `-DGGML_CUDA=OFF` 如果你没有 GPU，或者只想进行 CPU 推理。 **对于 Apple Mac / Metal 设备**，将其设置为 `-DGGML_CUDA=OFF` ，然后照常继续——Metal 支持默认开启。

```bash
apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \\
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp
```

视频需要同时具备 `ffmpeg` 和 `ffprobe` 在你的 PATH 中。请从这个 `llama.cpp` 目录继续执行下面的命令。
{% endstep %}

{% step %}
**下载 Unsloth GGUF**

下载模型及其视觉投影器：

{% code overflow="wrap" %}

```bash
python3 -m venv .venv
source .venv/bin/activate
pip install -U huggingface_hub

hf download unsloth/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-GGUF \\
    --local-dir models/nemotron-super-vl \\
    --include "*UD-Q4_K_XL*.gguf" "*mmproj*.gguf"
```

{% endcode %}

将路径设置为已下载的模型及其匹配的投影器。对于拆分的 GGUF，请将所有分片放在一起，并指向 **第一个分片**。请调整下面的文件名以匹配你的下载内容。

```bash
MODEL_FILE="models/nemotron-super-vl/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-UD-Q4_K_XL.gguf"
MMPROJ_FILE="models/nemotron-super-vl/mmproj-BF16.gguf"
```

{% endstep %}

{% step %}
**运行文本和图像**

文本：

```bash
./llama.cpp/llama-cli \\
    --model "$MODEL_FILE" --ctx-size 16384 --temp 1.0 --top-p 0.95 --top-k 0 --min-p 0.0 \\
    --prompt "解释视觉语言模型的作用。"
```

对于图像，请将路径设置为你自己的 RGB PNG 或 JPEG 文件。对于 PDF，请先将页面渲染为图像：

{% code overflow="wrap" %}

```bash
./llama.cpp/llama-mtmd-cli \\
    --model "$MODEL_FILE" --mmproj "$MMPROJ_FILE" \\
    --ctx-size 16384 --temp 1.0 --top-p 0.95 --top-k 0 --min-p 0.0 \\
    --image /path/to/picture.jpg \\
    --prompt "描述这张图片并提取任何可见文本。"
```

{% endcode %}
{% endstep %}

{% step %}
**运行视频**

启动多模态 CLI：

```bash
./llama.cpp/llama-mtmd-cli \\
    --model "$MODEL_FILE" --mmproj "$MMPROJ_FILE" \\
    --ctx-size 16384 --temp 1.0 --top-p 0.95 --top-k 0 --min-p 0.0
```

然后在 **CLI 内输入这些行**:

```
/video /path/to/video.mp4
总结视频并描述关键事件。
```

模型卡建议 **1–2 分钟的 MP4 片段**。NIM 以 2 FPS 采样，最多 256 帧；本地采样取决于运行时。从短片段开始，并根据需要增加上下文，因为视频帧会消耗提示 token。
{% endstep %}
{% endstepper %}

#### llama-server 提供与部署 <a href="#llama-server-serving-and-deployment" id="llama-server-serving-and-deployment"></a>

{% stepper %}
{% step %}
**启动 llama-server**

创建一个媒体目录并启动服务器：

{% code overflow="wrap" %}

```bash
mkdir -p media
./llama.cpp/llama-server \\
    --model "$MODEL_FILE" --mmproj "$MMPROJ_FILE" \\
    --alias nemotron-super-vl \\
    --ctx-size 16384 --parallel 1 --temp 1.0 --top-p 0.95 --top-k 0 --min-p 0.0 \\
    --media-path "$PWD/media" \\
    --host 127.0.0.1 --port 8001
```

{% endcode %}

打开 **<http://127.0.0.1:8001>** ，在同一台机器上与 llama.cpp 服务器聊天。
{% endstep %}

{% step %}
**发送 API 请求**

对于视频，请复制一个短片段到 `media/clip.mp4`，然后在另一个终端中运行此命令：

{% code overflow="wrap" %}

```bash
curl http://127.0.0.1:8001/v1/chat/completions \\
    -H 'Content-Type: application/json' \\
    -d '{
      "model": "nemotron-super-vl",
      "messages": [{"role": "user", "content": [
        {"type": "text", "text": "请总结这个视频。"},
        {"type": "input_video", "input_video": {"url": "file://clip.mp4"}}
      ]}],
      "max_tokens": 1024
    }'
```

{% endcode %}

`--media-path` 允许服务器从该目录读取本地媒体。对于纯文本请求，请使用 `"content": "2+2 等于多少？"` 而不是 content 数组。
{% endstep %}
{% endstepper %}

#### 📊 基准测试

<figure><img src="https://2657992854-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FBjoqDdZWELPnsSztDMlZ%2Faccuracy_plot(1).png?alt=media&amp;token=e4994520-d7a8-4d06-b183-fd6182c878d3" alt=""><figcaption></figcaption></figure>


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://unsloth.ai/docs/zh/mo-xing/nemotron-3.5-super-vl.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.