🧩NVIDIA Nemotron-3-Super：如何运行指南

在您的设备上本地运行并微调 NVIDIA Nemotron-3-Super-120B-A12B！

NVIDIA 发布了 Nemotron-3-Super-120B-A12B，这是一款具有 12B 活跃参数的 120B 开放混合推理 MoE 模型，继先前发布的 Nemotron-3-Nano，它的 30B 对应版本。Nemotron-3-Super 针对多代理 AI 设计，兼顾高效与高准确性。具有 1M 令牌 的上下文窗口，在 AIME 2025、Terminal Bench 和 SWE-Bench Verified 基准中领先同类规模，同时实现了最高吞吐量。

Nemotron-3-Super 可在具有 64GB RAM、显存或统一内存的设备上运行，并且现在可以在本地进行微调。感谢 NVIDIA 对 Unsloth 的零日支持。

Nemotron 3 SuperNemotron 3 Nano

GGUF： NVIDIA-Nemotron-3-Super-120B-A12B-GGUF

⚙️ 使用指南

NVIDIA 推荐以下推理设置：

通用对话/指令（默认）：

• temperature = 1.0

• top_p = 1.0

工具调用用例：

• temperature = 0.6

• top_p = 0.95

对于大多数本地使用，请设置：

• max_new_tokens = 32,768 为 262,144 用于最大 1M 令牌的标准提示

• 在 RAM/显存允许的情况下，为深度推理或长格式生成增加该值。

当我们使用以下内容时，可以找到聊天模板格式：

tokenizer.apply_chat_template([
    {"role" : "user", "content" : "What is 1+1?"},
    {"role" : "assistant", "content" : "2"},
    {"role" : "user", "content" : "What is 2+2?"}
    ], add_generation_prompt = True, tokenize = False,
)

由于模型使用 NoPE 训练，您只需更改 max_position_embeddings。该模型不使用显式位置嵌入，因此不需要 YaRN。

Nemotron 3 聊天模板格式：

Nemotron 3 使用 <think> ，其令牌 ID 为 12，和 </think> ，其令牌 ID 为 13 用于推理。使用 --special 查看 llama.cpp 的令牌。您可能还需要 --verbose-prompt 来查看 <think> 因为它被添加在前面。

<|im_start|>system\n<|im_end|>\n<|im_start|>user\nWhat is 1+1?<|im_end|>\n<|im_start|>assistant\n<think></think>2<|im_end|>\n<|im_start|>user\nWhat is 2+2?<|im_end|>\n<|im_start|>assistant\n<think>\n

🖥️ 运行 Nemotron-3-Super-120B-A12B

根据您的用例需要使用不同设置。某些 GGUF 在大小上相似，因为模型架构（例如 gpt-oss) 的维度不是 128 的倍数，因此某些部分无法量化到更低位。访问 GGUF 此处.

模型的 4 位版本需要约 ~64GB - 72GB RAM。8 位需要 128GB。

Llama.cpp 教程（GGUF）：

在 llama.cpp 中运行的说明（注意我们将使用 4 位以适配大多数设备）：

1

获取最新的 llama.cpp 在 GitHub 这里。您也可以按照下面的构建说明。若无 GPU 或仅想进行 CPU 推理，请将 -DGGML_CUDA=ON 为 -DGGML_CUDA=OFF 更改为

我们需要为 Nemotron-3-Super 安装 Unsloth 的 llama.cpp 分支！LM Studio 不需要此操作，因为它会通过更新支持。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/unslothai/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2

您可以直接从 Hugging Face 拉取。您可以根据 RAM/显存将上下文扩展到 1M。

关于 通用指令 用例，请遵循：

./llama.cpp/llama-cli \
    -hf unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-GGUF:UD-Q3_K_XL \
    --ctx-size 16384 \
    --temp 1.0 --top-p 1.0

关于 工具调用 用例，请遵循：

./llama.cpp/llama-cli \
    -hf unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-GGUF:UD-Q3_K_XL \
    --ctx-size 32768 \
    --temp 0.6 --top-p 0.95

3

通过以下方式下载模型（在安装 pip install huggingface_hub hf_transfer ）之后。您可以选择 Q4_K_M 或其他量化版本，如 UD-Q4_K_XL 。我们建议至少使用 2 位动态量化以平衡大小和准确性， UD-Q2_K_XL 如果下载卡住，请参见： Hugging Face Hub、XET 调试

hf download unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-GGUF \
    --local-dir unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-GGUF \
    --include "*UD-Q3_K_XL*" # 对于动态 2 位使用 "*UD-Q2_K_XL*"

4

然后以对话模式运行模型：

/llama.cpp/llama-cli \
    --model unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-GGUF/UD-Q3_K_XL/NVIDIA-Nemotron-3-Super-120B-A12B-UD-Q3_K_XL-00001-of-00003.gguf \
    --ctx-size 16384 \
    --seed 3407 \
    --prio 2 \
    --temp 0.6 \
    --top-p 0.95

此外，根据需要调整 上下文窗口 以确保您的硬件能处理超过 256K 的上下文窗口。将其设置为 1M 可能会触发 CUDA OOM 并导致崩溃，这就是默认值为 262,144 的原因。

🦥 对 Nemotron 3 的微调与强化学习（RL）

Unsloth 现在支持对所有 Nemotron 模型进行微调，包括 Nemotron 3 Super 和 Nano。有关 Nano 的笔记本示例，请参阅我们的 Nemotron 3 Nano 微调指南.

Nemotron 3 Super

• 为稳定性起见，路由层微调默认被禁用。

• Nemotron-3-Super-120B - bf16 LoRA 在 256GB 显存上可行。如果您使用多 GPU，请添加 device_map = "balanced" 或遵循我们的 多 GPU 指南.

🦙Llama-server 服务与部署

要将 Nemotron 3 部署到生产环境，我们使用 llama-server 在新终端（例如通过 tmux）中，通过以下命令部署模型：

./llama.cpp/llama-server \
    --model unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-GGUF/UD-Q3_K_XL/NVIDIA-Nemotron-3-Super-120B-A12B-UD-Q3_K_XL-00001-of-00003.gguf \
    --alias "unsloth/NVIDIA-Nemotron-3-Super-120B-A12B" \
    --prio 3 \
    --min_p 0.01 \
    --temp 0.6 \
    --top-p 0.95 \
    --ctx-size 16384 \
    --port 8001

运行上述命令时，您将获得：

然后在新终端，在执行了 pip install openai之后，执行：

from openai import OpenAI
import json
openai_client = OpenAI(
    base_url = "http://127.0.0.1:8001/v1",
    api_key = "sk-no-key-required",
)
completion = openai_client.chat.completions.create(
    model = "unsloth/NVIDIA-Nemotron-3-Super-120B-A12B",
    messages = [{"role": "user", "content": "What is 2+2?"},],
)
print(completion.choices[0].message.reasoning_content)
print(completion.choices[0].message.content)

这将打印：

好的，用户询问了“2+2 等于多少？”这看起来像是一个非常基础的算术问题。

嗯，也许他们在测试我是否在注意，或者他们是一个正在学数学的幼儿。也可能是有人在检查我是否会把一个简单问题复杂化。

我应该保持直接，因为问题中没有暗示任何陷阱。答案绝对是 4——不需要对基本加法过度怀疑。

但我心里也有一部分想知道他们是否在铺垫一个笑话（比如“对于足够大的 2，2+2=5”），但既然他们没有提供任何上下文，我会假设是真诚的提问。

最好清晰且热情地回答——如果他们在学习，可能会鼓励他们提出更多问题。不过无需赘述；只要有帮助地陈述事实即可。

2 + 2 等于 **4**。

这是在基于 10（十进制）表示下的基本算术事实。如果您是在其他上下文中提问（例如模算术、二进制，或作为玩笑/引用），请随时说明——我可以适应！😊

基准测试

与相似规模的模型相比，Nemotron 3 Super 在性能上具有竞争力，同时提供最高的吞吐量。