🧩NVIDIA Nemotron 3 Nano - 実行ガイド

NVIDIA Nemotron 3 Nano をお使いの端末でローカル実行・ファインチューニングしましょう！

NVIDIA がリリース Nemotron-3-Nano-4B、4B のオープンなハイブリッド MoE モデルで、 Nemotron-3-Super-120B-A12B および Nemotron-3-Nano-30B-A3B に続くものです。Nemotron ファミリーは、高速で正確なコーディング、数学、エージェント系ワークロード向けに設計されています。これらは 100万トークンのコンテキスト ウィンドウを備え、推論、チャット、スループットの各ベンチマークで競争力があります。

Nemotron-3-Nano-4B は 5GB の RAM、VRAM、または統合メモリで動作します。Nemotron-3-Nano-30A3B は 24GB の RAM で動作します。Nemotron 3 は現在、以下を介してローカルでファインチューニングできます Unsloth。Unsloath に day-zero サポートを提供してくれた NVIDIA に感謝します。

Nemotron-3-Nano-4BNemotron-3-Nano-30B-A3BNemotron 3 のファインチューニング

Nemotron-3-Nano-4B-GGUF	Nemotron-3-Nano-30B-A3B-GGUF

⚙️ 使用ガイド

NVIDIA は推論用に次の設定を推奨しています:

一般的なチャット/インストラクション（デフォルト）:

• temperature = 1.0

• top_p = 1.0

ツール呼び出しのユースケース:

• temperature = 0.6

• top_p = 0.95

ほとんどのローカル利用では、次のように設定します:

• max_new_tokens = 32,768 を 262,144 最大 100万トークンの標準プロンプト向け

• 必要に応じて、RAM/VRAM の許す範囲で深い推論や長文生成向けに増やしてください。

チャットテンプレートの形式は、以下を使用すると確認できます:

tokenizer.apply_chat_template([
    {"role" : "user", "content" : "What is 1+1?"},
    {"role" : "assistant", "content" : "2"},
    {"role" : "user", "content" : "What is 2+2?"}
    ], add_generation_prompt = True, tokenize = False,
)

このモデルは NoPE で学習されているため、変更する必要があるのは max_position_embeddingsのみです。モデルは明示的な位置埋め込みを使わないため、YaRN は不要です。

Nemotron 3 のチャットテンプレート形式:

Nemotron 3 は <think> トークン ID 12 で </think> トークン ID 13 で推論を行います。 --special を使うと llama.cpp のトークンを確認できます。必要に応じて --verbose-prompt を使って <think> 先頭に付加されているため表示してください。

<|im_start|>system\n<|im_end|>\n<|im_start|>user\nWhat is 1+1?<|im_end|>\n<|im_start|>assistant\n<think></think>2<|im_end|>\n<|im_start|>user\nWhat is 2+2?<|im_end|>\n<|im_start|>assistant\n<think>\n

🖥️ Nemotron-3-Nano-4B を実行

用途によって、異なる設定を使う必要があります。一部の GGUF は、モデルアーキテクチャ（たとえば gpt-oss）の次元が 128 で割り切れないため、サイズが近くなり、いくつかの部分を低ビットに量子化できません。

モデルの 4-bit 版には約 3GB の RAM が必要です。8-bit 版には 5GB が必要です。

🦥 Unsloth Studio ガイド

Nemotron 3 は Unsloth Studioで実行およびファインチューニングできます。これはローカル AI 向けの新しいオープンソース Web UI です。Unsloth Studio を使えば、モデルをローカルで実行できます MacOS、Windows、Linux および:

• 検索、ダウンロード、 GGUF を実行 し、safetensor モデルを扱う

• 自己修復 ツール呼び出し + Web 検索

• コード実行 （Python、Bash）

• 自動推論 パラメータ調整（temp、top-p など）

• llama.cpp を介した高速な CPU + GPU 推論

• LLM を学習する VRAM を 70% 少なくして 2 倍高速

1

Unslothをインストールする

ターミナルで実行:

MacOS、Linux、WSL:

curl -fsSL https://unsloth.ai/install.sh | sh

Windows PowerShell:

irm https://unsloth.ai/install.ps1 | iex

2

Unsloth を起動

MacOS、Linux、WSL、Windows:

unsloth studio -H 0.0.0.0 -p 8888

その後、 http://localhost:8888 をブラウザで開いてください。

3

Nemotron-3-Nano-4B を検索してダウンロード

初回起動時には、アカウントを保護し後で再度サインインするためのパスワードを作成する必要があります。その後、モデル、データセット、基本設定を選ぶ簡単な初期設定ウィザードが表示されます。いつでもスキップできます。

その後、 Studio Chat タブに移動し、検索バーで Nemotron-3-Nano-4B を検索して、希望するモデルと量子化をダウンロードします。

4

Nemotron-3-Nano-4B を実行

Unsloth Studio を使用すると推論パラメータは自動設定されるはずですが、手動で変更することもできます。コンテキスト長、チャットテンプレート、その他の設定も編集できます。

詳細は、 Unsloth Studio 推論ガイド.

Llama.cpp チュートリアル:

llama.cpp で実行するための手順（ほぼフル精度にするため 8-bit を使用します）:

1

最新の llama.cpp を GitHub こちらから取得してください。以下のビルド手順に従うこともできます。 -DGGML_CUDA=ON を -DGGML_CUDA=OFF に変更してください。GPU がない場合、または CPU 推論だけを使いたい場合です。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \\
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2

Hugging Face から直接取得できます。RAM/VRAM が許す範囲でコンテキストを 100万 に増やせます。

以下に従って 一般的なインストラクション のユースケースに対応してください:

./llama.cpp/llama-cli \\
    -hf unsloth/NVIDIA-Nemotron-3-Nano-4B-GGUF:Q8_0 \
    --ctx-size 16384 \\
    --temp 1.0 --top-p 1.0

以下に従って ツール呼び出し のユースケースに対応してください:

./llama.cpp/llama-cli \\
    -hf unsloth/NVIDIA-Nemotron-3-Nano-4B-GGUF:Q8_0 \
    --ctx-size 32768 \
    --temp 0.6 --top-p 0.95

3

モデルのダウンロード（ pip install huggingface_hub hf_transfer のインストール後）。 Q8_0 または他の量子化版を選べます。

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/NVIDIA-Nemotron-3-Nano-4B-GGUF",
    local_dir = "unsloth/NVIDIA-Nemotron-3-Nano-4B-GGUF",
    allow_patterns = ["*Q8_0*"],
)

4

その後、会話モードでモデルを実行します:

./llama.cpp/llama-cli \\
    --model unsloth/NVIDIA-Nemotron-3-Nano-4B-GGUF/NVIDIA-Nemotron-3-Nano-4B-Q8_0.gguf \
    --ctx-size 16384 \\
    --seed 3407 \\
    --prio 2 \\
    --temp 0.6 \\
    --top-p 0.95

また、 コンテキストウィンドウ も必要に応じて調整してください。ハードウェアが 256K を超えるコンテキストウィンドウに対応できることを確認してください。1M に設定すると CUDA の OOM を引き起こしてクラッシュする可能性があるため、デフォルトは 262,144 です。

🖥️ Nemotron-3-Nano-30B-A3B を実行

用途によって、異なる設定を使う必要があります。一部の GGUF は、モデルアーキテクチャ（たとえば gpt-oss）の次元が 128 で割り切れないため、サイズが近くなり、いくつかの部分を低ビットに量子化できません。

モデルの 4-bit 版には約 24GB の RAM が必要です。8-bit 版には 36GB が必要です。

🦥 Unsloth Studio ガイド

このチュートリアルでは、 Unsloth Studio、これは LLM の実行と学習のための新しい Web UI です。Unsloth Studio を使えば、モデルをローカルで実行できます Mac、Windows、Linux 上で入力でき、さらに次のことができます:

• 検索、ダウンロード、 GGUF を実行 し、safetensor モデルを扱う

• モデルを 比較する 横並びで

• 自己修復 ツール呼び出し + Web 検索

• コード実行 （Python、Bash）

• 自動推論 パラメータ調整（temp、top-p など）

• LLM を学習する VRAM を 70% 少なくして 2 倍高速

1

Unslothをインストールする

MacOS、Linux、WSL:

curl -fsSL https://unsloth.ai/install.sh | sh

Windows PowerShell:

irm https://unsloth.ai/install.ps1 | iex

2

Unsloth Studio をセットアップ（1回のみ）

セットアップでは自動的に Node.js（nvm 経由）をインストールし、フロントエンドをビルドし、必要な Python 依存関係をすべてインストールし、CUDA サポート付きで llama.cpp をビルドします。

WSL ユーザー: 次のインストールのために sudo パスワードの入力を求められます（ビルド依存関係のインストール用: cmake, git, libcurl4-openssl-dev).

3

Unsloth を起動

MacOS、Linux、WSL:

source unsloth_studio/bin/activate
unsloth studio -H 0.0.0.0 -p 8888

Windows Powershell:

& .\unsloth_studio\Scripts\unsloth.exe studio -H 0.0.0.0 -p 8888

その後、 http://localhost:8888 をブラウザで開いてください。

4

Nemotron-3-Nano-30B-A3B を検索してダウンロード

初回起動時には、アカウントを保護し後で再度サインインするためのパスワードを作成する必要があります。その後、モデル、データセット、基本設定を選ぶ簡単な初期設定ウィザードが表示されます。いつでもスキップできます。

その後、 Studio Chat タブに移動し、検索バーで Nemotron-3-Nano-4B を検索して、希望するモデルと量子化をダウンロードします。

5

Nemotron-3-Nano-30B-A3B を実行

Unsloth Studio を使用すると推論パラメータは自動設定されるはずですが、手動で変更することもできます。コンテキスト長、チャットテンプレート、その他の設定も編集できます。

詳細は、 Unsloth Studio 推論ガイド.

Llama.cpp チュートリアル:

llama.cpp で実行するための手順（ほとんどのデバイスに収まるよう 4-bit を使用します）:

1

最新の llama.cpp を GitHub こちらから取得してください。以下のビルド手順に従うこともできます。 -DGGML_CUDA=ON を -DGGML_CUDA=OFF に変更してください。GPU がない場合、または CPU 推論だけを使いたい場合です。 Apple Mac / Metal デバイスの場合、次を設定して -DGGML_CUDA=OFF その後は通常どおり続けてください - Metal サポートは既定で有効です。

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \\
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2

Hugging Face から直接取得できます。RAM/VRAM が許す範囲でコンテキストを 100万 に増やせます。

以下に従って 一般的なインストラクション のユースケースに対応してください:

./llama.cpp/llama-cli \\
    -hf unsloth/Nemotron-3-Nano-30B-A3B-GGUF:UD-Q4_K_XL \
    --ctx-size 32768 \
    --temp 1.0 --top-p 1.0

以下に従って ツール呼び出し のユースケースに対応してください:

./llama.cpp/llama-cli \\
    -hf unsloth/Nemotron-3-Nano-30B-A3B-GGUF:UD-Q4_K_XL \
    --ctx-size 32768 \
    --temp 0.6 --top-p 0.95

3

モデルのダウンロード（ pip install huggingface_hub hf_transfer のインストール後）。 UD-Q4_K_XL または他の量子化版を選べます。

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Nemotron-3-Nano-30B-A3B-GGUF",
    local_dir = "unsloth/Nemotron-3-Nano-30B-A3B-GGUF",
    allow_patterns = ["*UD-Q4_K_XL*"],
)

4

その後、会話モードでモデルを実行します:

./llama.cpp/llama-cli \\
    --model unsloth/Nemotron-3-Nano-30B-A3B-GGUF/Nemotron-3-Nano-30B-A3B-UD-Q4_K_XL.gguf \
    --ctx-size 16384 \\
    --seed 3407 \\
    --prio 2 \\
    --temp 0.6 \\
    --top-p 0.95

また、 コンテキストウィンドウ も必要に応じて調整してください。ハードウェアが 256K を超えるコンテキストウィンドウに対応できることを確認してください。1M に設定すると CUDA の OOM を引き起こしてクラッシュする可能性があるため、デフォルトは 262,144 です。

Nemotron 3 は <think> トークン ID 12 で </think> トークン ID 13 で推論を行います。 --special を使うと llama.cpp のトークンを確認できます。必要に応じて --verbose-prompt を使って <think> 先頭に付加されているため表示してください。

🦥 Nemotron 3 と RL のファインチューニング

Unsloth は現在、Nemotron 3 Super と Nano を含むすべての Nemotron モデルのファインチューニングをサポートしています。

4B モデルは無料の Colab GPU に収まりますが、30B モデルは収まりません。それでも、ファインチューニング用に 80GB A100 Colab ノートブックを用意しました。Nemotron 3 Nano の 16-bit LoRA ファインチューニングでは約 60GB の VRAM:

• Nemotron-3-Nano-30B-A3B SFT LoRA ノートブック

Google Colabcolab.research.google.com

MoE のファインチューニングについては、ルーター層をファインチューニングするのはおそらく良い考えではないため、デフォルトで無効にしています。その推論能力を維持したい場合（任意）、直接回答と chain-of-thought の例を混ぜて使えます。少なくとも 75% の推論 および 25% の非推論 をデータセットに含めて、モデルの推論能力を保持させてください。

✨強化学習 + NeMo Gym

私たちはオープンソースの NVIDIA NeMo Gym チームと協力し、RL 環境の民主化を可能にしました。私たちのコラボレーションにより、NeMo Gym のトレーニング環境とデータセットを使用して、数学、コーディング、ツール利用など、多くの関心分野に対する単一ターンのロールアウト RL トレーニングが可能になります:

NeMo Gym 数独 強化学習 ノートブック

Google Colabcolab.research.google.com

NeMo Gym 強化学習用マルチ環境ノートブック

Google Colabcolab.research.google.com

さらに、NVIDIA の公式 Developer ブログに掲載された最新のコラボガイドもご覧ください:

NVIDIA GPU で LLM をファインチューニングする方法 — Unsloth を使用

How to Fine-Tune an LLM on NVIDIA GPUs With UnslothNVIDIA Blog

🦙Llama-server のサービングとデプロイ

Nemotron 3 を本番環境にデプロイするには、次を使用します llama-server を使用します。新しいターミナルで、たとえば tmux 経由で、次のようにモデルをデプロイします:

./llama.cpp/llama-server \\
    --model unsloth/Nemotron-3-Nano-30B-A3B-GGUF/Nemotron-3-Nano-30B-A3B-UD-Q4_K_XL.gguf \
    --alias "unsloth/Nemotron-3-Nano-30B-A3B" \
    --prio 3 \\
    --min-p 0.01 \\
    --temp 0.6 \\
    --top-p 0.95 \
    --ctx-size 16384 \\
    --port 8001

上記を実行すると、次のようになります:

次に新しいターミナルで、 pip install openaiを実行した後、次を行います:

from openai import OpenAI
import json
openai_client = OpenAI(
    base_url = "http://127.0.0.1:8001/v1",
    api_key = "sk-no-key-required",
)
completion = openai_client.chat.completions.create(
    model = "unsloth/Nemotron-3-Nano-30B-A3B",
    messages = [{"role": "user", "content": "What is 2+2?"},],
)
print(completion.choices[0].message.content)

すると次を出力します

ユーザーは簡単な質問をします: 「What is 2+2?」答えは 4 です。回答を出してください。

2 + 2 = 4.

ベンチマーク

Nemotron-3-Nano-4B は、スループットを含め、そのサイズに対して最も高性能なモデルです。

Nemotron-3-Nano-30B-A3B は、スループットを含むすべてのベンチマークで最も高性能なモデルです。