🧩NVIDIA Nemotron 3 Nano - 如何运行指南

在您的设备上本地运行并微调 NVIDIA Nemotron 3 Nano！

NVIDIA 发布了 Nemotron 3 Nano，一款 300 亿参数的混合推理 MoE 模型，具有约 36 亿的活跃参数——专为快速、准确的编程、数学和具代理性的任务构建。它具有一个 100 万上下文窗口 并且在其同等规模中在 SWE-Bench、GPQA Diamond、推理、聊天和吞吐量方面表现最佳。

Nemotron 3 Nano 可在 24GB 内存/显存（或统一内存）上运行，你现在可以 微调 在本地运行。感谢 NVIDIA 为 Unsloth 提供零日支持。

运行教程微调 Nano 3

NVIDIA Nemotron 3 Nano GGUF 以运行： unsloth/Nemotron-3-Nano-30B-A3B-GGUF 我们还上传了 BF16 和 FP8 变体。

⚙️ 使用指南

NVIDIA 建议用于推理的设置：

通用聊天/指令（默认）：

• temperature = 1.0

• top_p = 1.0

工具调用用例：

• temperature = 0.6

• top_p = 0.95

对于大多数本地使用，设置：

• max_new_tokens = 32,768 改为 262,144 用于最大 100 万标记的标准提示

• 根据你的内存/显存情况增加以进行深度推理或长文本生成。

聊天模板格式如下使用时可以找到：

tokenizer.apply_chat_template([
    {"role" : "user", "content" : "What is 1+1?"},
    {"role" : "assistant", "content" : "2"},
    {"role" : "user", "content" : "What is 2+2?"}
    ], add_generation_prompt = True, tokenize = False,
)

Nemotron 3 聊天模板格式：

Nemotron 3 使用 <think> 其标记 ID 为 12，和 </think> 其标记 ID 为 13 用于推理。使用 --special 可以查看 llama.cpp 的标记。你可能还需要 --verbose-prompt 以查看 <think> 因为它被预置在前面。

<|im_start|>system\n<|im_end|>\n<|im_start|>user\nWhat is 1+1?<|im_end|>\n<|im_start|>assistant\n<think></think>2<|im_end|>\n<|im_start|>user\nWhat is 2+2?<|im_end|>\n<|im_start|>assistant\n<think>\n

🖥️ 运行 Nemotron-3-Nano-30B-A3B

根据你的使用场景，你需要使用不同的设置。一些 GGUF 的最终大小相似，因为模型架构（例如 gpt-oss）的维度不能被 128 整除，因此部分无法量化到更低位数。

Llama.cpp 教程（GGUF）：

在 llama.cpp 中运行的说明（注意我们将使用 4 位以适配大多数设备）：

1

获取最新的 llama.cpp 在 GitHub（此处）。您也可以按照下面的构建说明。若没有 GPU 或仅想用 CPU 推理，请将 -DGGML_CUDA=ON 改为 -DGGML_CUDA=OFF 。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2

你可以直接从 Hugging Face 拉取。你可以根据内存/显存情况将上下文增加到 100 万。

按以下方式用于 通用指令 用例：

./llama.cpp/llama-cli \
    -hf unsloth/Nemotron-3-Nano-30B-A3B-GGUF:UD-Q4_K_XL \
    --jinja --ctx-size 32768 \
    --temp 1.0 --top-p 1.0 --fit on

按以下方式用于 工具调用 用例：

./llama.cpp/llama-cli \
    -hf unsloth/Nemotron-3-Nano-30B-A3B-GGUF:UD-Q4_K_XL \
    --jinja --ctx-size 32768 \
    --temp 0.6 --top-p 0.95 --fit on

3

通过以下方式下载模型（在安装 pip install huggingface_hub hf_transfer 之后）。您可以选择 UD-Q4_K_XL 或其它量化版本。

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Nemotron-3-Nano-30B-A3B-GGUF",
    local_dir = "unsloth/Nemotron-3-Nano-30B-A3B-GGUF",
    allow_patterns = ["*UD-Q4_K_XL*"],
)

4

然后以对话模式运行模型：

./llama.cpp/llama-cli \
    --model unsloth/Nemotron-3-Nano-30B-A3B-GGUF/Nemotron-3-Nano-30B-A3B-UD-Q4_K_XL.gguf \
    --ctx-size 16384 \
    --fit on \
    --seed 3407 \
    --prio 2 \
    --temp 0.6 \
    --top-p 0.95 \
    --jinja

此外，根据需要调整 上下文窗口 以满足要求。确保你的硬件能处理超过 256K 的上下文窗口。将其设置为 100 万可能会触发 CUDA OOM 并导致崩溃，这就是默认值为 262,144 的原因。

5

Nemotron 3 使用 <think> 其标记 ID 为 12，和 </think> 其标记 ID 为 13 用于推理。使用 --special 可以查看 llama.cpp 的标记。你可能还需要 --verbose-prompt 以查看 <think> 因为它被预置在前面。

由于该模型在训练时使用了 NoPE，你只需更改 max_position_embeddings。该模型不使用显式的位置嵌入，因此 不需要 YaRN.

🦥 微调 Nemotron 3 Nano 与强化学习

Unsloth 现在支持所有 Nemotron 模型的微调，包括 Nemotron 3 Nano。30B 模型无法放入免费 Colab GPU；不过我们仍为你制作了一个 80GB A100 的 Colab 笔记本用于微调。Nemotron 3 Nano 的 16 位 LoRA 微调大约会使用 60GB 显存:

• Nemotron-3-Nano-30B-A3B SFT LoRA 笔记本

Google Colabcolab.research.google.com

关于微调 MoE —— 可能不太适合微调路由器层，因此我们默认将其禁用。如果你想保留其推理能力（可选），可以使用直接回答与链式思考示例的混合。在你的数据集中至少使用 75% 推理 和 25% 非推理 来使模型保留其推理能力。

✨强化学习 + NeMo Gym

我们与开源的 NVIDIA NeMo Gym 团队合作以推动 RL 环境的民主化。我们的合作使得许多感兴趣领域（包括数学、编程、工具使用等）能够进行单回合 rollout 强化学习训练，使用来自 NeMo Gym 的训练环境和数据集：

• NeMo Gym 数独强化学习笔记本

Google Colabcolab.research.google.com

还请查看我们发布在 NVIDIA 官方开发者博客上的最新合作指南：

如何使用 Unsloth 在 NVIDIA GPU 上微调 LLM

How to Fine-Tune an LLM on NVIDIA GPUs With UnslothNVIDIA Blog

🎉Llama-server 服务与部署

要在生产中部署 Nemotron 3，我们使用 llama-server 在新终端（例如通过 tmux）中，通过以下方式部署模型：

./llama.cpp/llama-server \
    --model unsloth/Nemotron-3-Nano-30B-A3B-GGUF/Nemotron-3-Nano-30B-A3B-UD-Q4_K_XL.gguf \
    --alias "unsloth/Nemotron-3-Nano-30B-A3B" \
    --fit on \
    --prio 3 \
    --min_p 0.01 \
    --temp 0.6 \
    --top-p 0.95 \
    --ctx-size 16384 \
    --port 8001 \
    --jinja

运行上述命令后，您将得到：

然后在新终端中，执行 pip install openai，然后执行：

from openai import OpenAI
import json
openai_client = OpenAI(
    base_url = "http://127.0.0.1:8001/v1",
    api_key = "sk-no-key-required",
)
completion = openai_client.chat.completions.create(
    model = "unsloth/Nemotron-3-Nano-30B-A3B",
    messages = [{"role": "user", "content": "What is 2+2?"},],
)
print(completion.choices[0].message.content)

这将打印出

用户提出一个简单问题：“2+2 等于多少？”答案是 4。提供答案。

2 + 2 = 4.

基准测试

Nemotron-3-Nano-30B-A3B 在所有基准测试中表现最佳，包括吞吐量。