🧩NVIDIA Nemotron 3 Nano Omni - 如何在本地运行
在你的设备上本地运行并微调 Nemotron-3-Nano-Omni-30B-A3B!
NVIDIA Nemotron-3-Nano-Omni-30B-A3B 是一个开源的 300 亿参数、30 亿激活参数的混合推理 MoE 模型,专为多模态智能体工作负载打造,包括 音频, 视频、文本、图像和文档作为输入,并输出文本。该模型可在 25GB RAM 上运行 4-bit 版本,8-bit 版本则需要 36GB。
使用 256K 上下文时,Nemotron 3 Nano Omni 是 同尺寸中最强的 Omni 模型,也是最高效的开源多模态模型。我们与 NVIDIA 合作,在发布首日即提供支持! GGUF: Nemotron-3-Nano-Omni-30B-A3B-Reasoning
⚙️ 使用指南
NVIDIA 建议以下推理设置:
思考模式:
temperature = 0.6top_p = 0.95
指令模式:
temperature = 0.2
运行 Nemotron-3-Nano-Omni
根据你的使用场景,你需要使用 不同的设置。一些 GGUF 的体积最终会相近,因为模型架构(如 gpt-oss)的维度不能被 128 整除,因此某些部分无法量化到更低位数。 GGUF: Nemotron-3-Nano-Omni-30B-A3B-Reasoning
该模型的 4-bit 版本需要约 25GB RAM。8-bit 需要 36GB。对于这些指南,我们将使用 UD-Q4-K-XL 这在体积和准确性之间取得了良好平衡。
🦥 Unsloth Studio 指南
在本教程中,我们将使用 Unsloth Studio,这是我们用于运行和训练 LLM 的全新网页界面。使用 Unsloth Studio,你可以运行模型并输入 音频图像和文本,并可在本地处理,运行于 Mac、Windows、Linux,以及:

搜索并下载 NVIDIA-Nemotron-3-Nano-30B-A3B-Omni
首次启动时,你需要创建一个密码来保护你的账户,并在稍后重新登录。然后前往 Unsloth Chat 选项卡,并在搜索栏中搜索 Nemotron-3-Nano-Omni,然后下载你想要的模型和量化版本。

运行 Nemotron-3-Nano-30B-A3B-Omni
在使用 Unsloth Studio 时,推理参数应自动设置,不过你仍然可以手动更改。你也可以编辑上下文长度、聊天模板和其他设置。
更多信息请查看我们的 Unsloth Studio 推理指南.

🦙 Llama.cpp 教程:
在 llama.cpp 中运行的说明(注意:为了适配大多数设备,我们将使用 4-bit):
获取最新的 llama.cpp 在 GitHub 上获取。你也可以按照下面的构建说明进行操作。将 -DGGML_CUDA=ON 改为 -DGGML_CUDA=OFF 如果你没有 GPU,或者只想使用 CPU 推理。 对于 Apple Mac / Metal 设备,设置 -DGGML_CUDA=OFF 然后按常规继续——Metal 支持默认开启。
先来获取一张图片! 你也可以上传图片。我们将使用 https://raw.githubusercontent.com/unslothai/unsloth/refs/heads/main/images/unsloth%20made%20with%20love.png,这只是我们的迷你标志,展示微调是如何借助 Unsloth 制作的:


现在让我们手动下载模型。我们可以通过下面的代码来完成(先安装 `pip install huggingface_hub`)。如果下载卡住,请参见: Hugging Face Hub、XET 调试
然后在对话模式下运行模型:
然后你会看到如下内容:

然后使用 /image 将两张图片都加载进来,并询问“这是什么图片”:


而对于树懒图片:

Llama-server 服务与部署
要在本地部署 Nemotron 3 Nano Omni,请使用 llama-server。在新的终端中,例如通过 tmux,部署该模型:
如果你手动下载了模型,请使用:
然后在新的终端中,在安装 OpenAI 客户端后使用 pip install openai:
这将显示如下内容:

通过与 OpenAI 兼容的服务器输入图像
让我们使用 picture.png 它是像下面那样的树懒图片 NVIDIA Nemotron 3 Omni
这将显示如下内容:

🦥 微调 Nemotron 3 Nano Omni
Unsloth 支持整个 Nemotron 模型系列。Nemotron 3 Nano Omni 适用于多模态智能体数据集。你可以通过 Unsloth 在音频、视觉或文本上训练。 视频输入 目前不支持微调。
对于仅文本和 notebook,你可以从现有的 Nemotron 3 Nano 微调流程开始。对于多模态适配器,请确保你的数据集包含你的智能体实际需要的模态:
计算机使用: 截图、UI 状态、光标/上下文、预期的下一步动作
文档智能: PDF、截图、图表、表格、结构化抽取目标
音频理解: 音频片段、采样帧、摘要、时间戳、事件和后续问题
智能体循环: 观察 → 推理 → 行动 → 验证示例
对于 Omni,不要盲目复用仅文本的 VRAM 数值。多模态编码器、投影器权重、图像 token、音频块以及长上下文都会增加内存占用。请从更短的上下文和更小的批大小开始,然后再逐步扩大。
基准测试
Nemotron 3 Nano Omni 是同尺寸中最强的 omni 模型。它也是最高效、具有领先准确率的开源多模态模型。该模型在所有基准测试上都优于 Qwen3-Omni-30B-A3B。

最后更新于
这有帮助吗?


