🧩NVIDIA Nemotron-3-Super: 実行ガイド

NVIDIA Nemotron-3-Super-120B-A12B をローカルデバイスで実行・ファインチューニングしましょう！

NVIDIAが発表 Nemotron-3-Super-120B-A12B、12Bのアクティブパラメータを持つ120Bのオープンハイブリッド推論MoEモデルで、先に発表された Nemotron-3-Nano、その30Bの対となるモデルに続くものです。Nemotron-3-SuperはマルチエージェントAIに対して高効率かつ高精度を目指して設計されています。さらに 1Mトークン のコンテキストウィンドウを備え、AIME 2025、Terminal Bench、SWE-Bench Verifiedベンチマークの同クラスで先頭に立ち、同時に最高のスループットを達成しています。

Nemotron-3-Superは 64GB のRAM、VRAM、または統一メモリを搭載したデバイスで動作し、ローカルでのファインチューニングが可能になりました。Unslothがデイゼロサポートを提供してくれたことに感謝します（Thanks NVIDIA for giving Unsloth day-zero support. の意図を含意）。

Nemotron 3 SuperNemotron 3 Nano

GGUF： NVIDIA-Nemotron-3-Super-120B-A12B-GGUF

⚙️ 使用ガイド

NVIDIAは推論に以下の設定を推奨しています：

一般的なチャット／指示（デフォルト）：

• temperature = 1.0

• top_p = 1.0

ツール呼び出しのユースケース：

• temperature = 0.6

• top_p = 0.95

ほとんどのローカル利用では、次を設定してください：

• max_new_tokens = 32,768 を 262,144 標準プロンプトで最大1Mトークンの場合

• より深い推論や長文生成には、RAM/VRAMが許す範囲で増やしてください。

チャットテンプレートの形式は以下を使用すると見つかります：

tokenizer.apply_chat_template([
    {"role" : "user", "content" : "What is 1+1?"},
    {"role" : "assistant", "content" : "2"},
    {"role" : "user", "content" : "What is 2+2?"}
    ], add_generation_prompt = True, tokenize = False,
)

モデルはNoPEで訓練されているため、変更する必要があるのは max_position_embeddingsだけです。モデルは明示的な位置埋め込みを使用していないため、YaRNは必要ありません。

Nemotron 3チャットテンプレート形式：

Nemotron 3は <think> （トークンID 12）と </think> （トークンID 13）を推論用に使用します。llama.cppでトークンを確認するには --special を使用してください。場合によっては --verbose-prompt を付けて <think> を確認する必要があるかもしれません。これは前置されているためです。

<|im_start|>system\n<|im_end|>\n<|im_start|>user\nWhat is 1+1?<|im_end|>\n<|im_start|>assistant\n<think></think>2<|im_end|>\n<|im_start|>user\nWhat is 2+2?<|im_end|>\n<|im_start|>assistant\n<think>\n

🖥️ Nemotron-3-Super-120B-A12B を実行する

ユースケースに応じて異なる設定が必要になります。モデルアーキテクチャ（例えば gpt-oss）が128で割り切れない次元を持つため、パーツが低ビットに量子化できず、いくつかのGGUFはサイズが似通ってしまうことがあります。GGUFは こちら.

モデルの4ビット版は約64GB〜72GBのRAMを必要とします。8ビット版は128GBを必要とします。

Llama.cpp チュートリアル（GGUF）：

llama.cppでの実行手順（ほとんどのデバイスに収めるために4ビットを使用する例）：

1

最新の llama.cpp を GitHubのこちらから入手してください。下のビルド手順に従うこともできます。変更するのは -DGGML_CUDA=ON を -DGGML_CUDA=OFF です（GPUがない場合やCPU推論のみを行う場合）。

Nemotron-3-Super用にUnslothのllama.cppブランチをインストールする必要があります！これはLM Studioでは不要で、アップデートで動作します。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/unslothai/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2

Hugging Faceから直接プルすることもできます。RAM/VRAMが許す範囲でコンテキストを1Mに増やせます。

以下に従って 一般的な指示 のユースケース：

./llama.cpp/llama-cli \
    -hf unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-GGUF:UD-Q3_K_XL \
    --ctx-size 16384 \
    --temp 1.0 --top-p 1.0

以下に従って ツール呼び出し のユースケース：

./llama.cpp/llama-cli \
    -hf unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-GGUF:UD-Q3_K_XL \
    --ctx-size 32768 \
    --temp 0.6 --top-p 0.95

3

モデルをダウンロードするには（先に pip install huggingface_hub hf_transfer をインストールしてください）。Q4_K_Mや他の量子化バージョン、例えば UD-Q4_K_XL などを選べます。サイズと精度のバランスを取るために少なくとも2ビットのダイナミック量子化を推奨します。 UD-Q2_K_XL ダウンロードが止まる場合は次を参照してください： Hugging Face Hub、XET のデバッグ

hf download unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-GGUF \
    --local-dir unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-GGUF \
    --include "*UD-Q3_K_XL*" # ダイナミック2ビットの場合は "*UD-Q2_K_XL*" を使用

4

その後、会話モードでモデルを実行します：

/llama.cpp/llama-cli \
    --model unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-GGUF/UD-Q3_K_XL/NVIDIA-Nemotron-3-Super-120B-A12B-UD-Q3_K_XL-00001-of-00003.gguf \
    --ctx-size 16384 \
    --seed 3407 \
    --prio 2 \
    --temp 0.6 \
    --top-p 0.95

また、必要に応じて コンテキストウィンドウ を調整してください。ハードウェアが256Kを超えるコンテキストウィンドウを扱えることを確認してください。1Mに設定するとCUDAのOOMを引き起こしてクラッシュする可能性があるため、デフォルトは262,144になっています。

🦥 Nemotron 3 のファインチューニングと強化学習（RL）

Unslothは現在、Nemotron 3 SuperとNanoを含むすべてのNemotronモデルのファインチューニングをサポートしています。Nanoのノートブック例については、Nemotron 3の Nanoファインチューニングガイド.

Nemotron 3 Super

• 安定性のため、ルーターレイヤーのファインチューニングはデフォルトで無効になっています。

• Nemotron-3-Super-120B - bf16 LoRA は256GBのVRAMで動作します。マルチGPUを使用している場合は、 device_map = "balanced" を追加するか、以下の マルチGPUガイド.

に従ってください。

🦙Llama-server のサービングとデプロイ Nemotron 3を本番展開するには、我々は llama-server

を使用します。
    --model unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-GGUF/UD-Q3_K_XL/NVIDIA-Nemotron-3-Super-120B-A12B-UD-Q3_K_XL-00001-of-00003.gguf \
    新しいターミナルで（tmuxなどを使い）次のようにモデルをデプロイしてください：
    ./llama.cpp/llama-server \
    --alias "unsloth/NVIDIA-Nemotron-3-Super-120B-A12B" \
    --temp 0.6 \
    --prio 3 \
    --ctx-size 16384 \
    --min_p 0.01 \

--top-p 0.95 \

--port 8001 上記を実行すると、次が得られます：その後、新しいターミナルで

pip install openai
を実行した後、以下を行ってください：
from openai import OpenAI
    import json
    openai_client = OpenAI(
)
base_url = "http://127.0.0.1:8001/v1",
    api_key = "sk-no-key-required",
    completion = openai_client.chat.completions.create(
)
model = "unsloth/NVIDIA-Nemotron-3-Super-120B-A12B",
messages = [{"role": "user", "content": "What is 2+2?"},],

print(completion.choices[0].message.reasoning_content)

print(completion.choices[0].message.content)

これは次を出力します：

了解しました。ユーザーは「2+2は何ですか？」と尋ねました。これは非常に基本的な算術の質問のようです。

うーん、私が注意を払っているかを試しているのかもしれませんし、数学を学んでいる子どもかもしれません。あるいは単純な質問を過度に複雑化するかどうかを確認している人かもしれません。

質問にトリックの兆候がないので、簡潔に答えるべきです。答えは間違いなく4で、基本的な加算をあれこれ考える必要はありません。

ただ、冗談（例えば「2の大きな値に対して2+2=5」など）のための前振りかもしれないとも思いますが、文脈が示されていないので本気の質問だと仮定します。

明確かつ親しみやすく答えるのがよいでしょう — 学習中ならさらなる質問を促すかもしれません。余分な飾りは不要なので、事実を役立つ形で述べます。😊

2 + 2 は **4** です。

これは基底10（10進表記）での基本的な算術的事実です。もし合同算術、二進法、あるいはジョーク／参照のような別の文脈で尋ねているなら、詳細を教えてください — 喜んで適応します！