> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/jp/moderu/nemotron-3/nemotron-3-super.md). # NVIDIA Nemotron-3-Super: 実行ガイド NVIDIA Nemotron-3-Super-120B-A12Bをデバイス上でローカル実行・ファインチューニングしましょう！ NVIDIA がリリース **Nemotron-3-Super-120B-A12B**、12B のアクティブパラメータを持つ 120B のオープンなハイブリッド推論 MoE モデルで、先にリリースされた [Nemotron-3-Nano](/docs/jp/moderu/nemotron-3.md)、その30B版です。Nemotron-3-Super は、マルチエージェント AI 向けに高効率かつ高精度に設計されています。1M トークンの **1M トークン** コンテキストウィンドウにより、AIME 2025、Terminal Bench、SWE-Bench Verified のベンチマークで同サイズ帯をリードし、最高のスループットを達成しています。 Nemotron-3-Super は、メモリを搭載したデバイスで **64GB** RAM、VRAM、またはユニファイドメモリがあり、現在はローカルでファインチューニングできます。Unsloth に初日サポートを提供してくれた NVIDIA に感謝します。 Nemotron 3 SuperNemotron 3 Nano GGUF: [Nemotron-3-Super-120B-A12B-GGUF](https://huggingface.co/unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-GGUF) • [NVFP4](https://huggingface.co/unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-NVFP4) • [FP8](https://huggingface.co/unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-FP8) • [BF16](https://huggingface.co/unsloth/NVIDIA-Nemotron-3-Super-120B-A12B) ### ⚙️ 使用ガイド NVIDIA は推論用に以下の設定を推奨しています： {% columns %} {% column %} **一般的なチャット/指示（デフォルト）：** * `temperature = 1.0` * `top_p = 1.0` {% endcolumn %} {% column %} **ツール呼び出しのユースケース：** * `temperature = 0.6` * `top_p = 0.95` {% endcolumn %} {% endcolumns %} **ほとんどのローカル利用では、次のように設定します：** * `max_new_tokens` = `32,768` を `262,144` 最大 1M トークンの標準プロンプト向け * RAM/VRAM の許す範囲で、深い推論や長文生成では増やしてください。 チャットテンプレート形式は、以下を使用すると確認できます: {% code overflow="wrap" %} ```python tokenizer.apply_chat_template([ {"role" : "user", "content" : "1+1は何ですか？"}, {"role" : "assistant", "content" : "2"}, {"role" : "user", "content" : "2+2 はいくつですか？"} ], add_generation_prompt = True, tokenize = False, ) ``` {% endcode %} {% hint style="success" %} モデルは NoPE で学習されているため、変更する必要があるのは `max_position_embeddings`。このモデルは明示的な位置埋め込みを使用しないため、YaRN は不要です。 {% endhint %} #### Nemotron 3 のチャットテンプレート形式： {% hint style="info" %} Nemotron 3 は `` トークン ID 12 を `` トークン ID 13 を推論用に使用します。次を使ってください `--special` llama.cpp のトークンを確認できます。必要になる場合は `--verbose-prompt` 表示するには `` 先頭に付加されるためです。 {% endhint %} {% code overflow="wrap" lineNumbers="true" %} ``` <|im_start|>system\n<|im_end|>\n<|im_start|>user\n1+1 はいくつですか？<|im_end|>\n<|im_start|>assistant\n2<|im_end|>\n<|im_start|>user\n2+2 はいくつですか？<|im_end|>\n<|im_start|>assistant\n\n ``` {% endcode %} ### 🖥️ Nemotron-3-Super-120B-A12B を実行 ユースケースに応じて、異なる設定を使用する必要があります。一部の GGUF は、モデルアーキテクチャ（たとえば [gpt-oss](/docs/jp/moderu/gpt-oss-how-to-run-and-fine-tune.md)）の次元が 128 で割り切れないため、いくつかの部分はより低いビットに量子化できません。GGUF にアクセス [ここ](https://huggingface.co/unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-GGUF). このモデルの 4 ビット版には約 64GB〜72GB の RAM が必要です。8 ビット版には 128GB が必要です。 #### Llama.cppチュートリアル（GGUF）: llama.cpp で実行する手順（ほとんどのデバイスに収めるため、4bit を使用します）： {% stepper %} {% step %} 最新の `llama.cpp` を [GitHubこちら](https://github.com/ggml-org/llama.cpp)。以下のビルド手順に従うこともできます。変更してください `-DGGML_CUDA=ON` を `-DGGML_CUDA=OFF` GPUがない場合、またはCPU推論のみを使いたい場合は。 {% code overflow="wrap" %} ```bash apt-get update apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y git clone https://github.com/ggml-org/llama.cpp cmake llama.cpp -B llama.cpp/build \ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpp ``` {% endcode %} {% endstep %} {% step %} Hugging Face から直接取得できます。RAM/VRAM の許す範囲でコンテキストを 1M まで増やせます。 これに従ってください: **一般的な手順** ユースケース: ```bash ./llama.cpp/llama-cli \ -hf unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-GGUF:UD-Q4_K_XL \ --ctx-size 16384 \\ --temp 1.0 --top-p 1.0 ``` これに従ってください: **ツール呼び出し** ユースケース: ```bash ./llama.cpp/llama-cli \ -hf unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-GGUF:UD-Q4_K_XL \ --ctx-size 32768 \ --temp 0.6 --top-p 0.95 ``` {% endstep %} {% step %} 以下をインストールした後、( `pip install huggingface_hub hf_transfer` をインストールした後）。Q4\_K\_Mや次のような他の量子化版も選べます `UD-Q4_K_XL` 。サイズと精度のバランスを取るため、少なくとも2ビットの動的量子化を使うことを推奨します `UD-Q2_K_XL` 。ダウンロードが止まる場合は、次を参照してください: [Hugging Face Hub、XET のデバッグ](/docs/jp/ji-chu/troubleshooting-and-faqs/hugging-face-hub-xet-debugging.md) ```bash hf download unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-GGUF \ --local-dir unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-GGUF \ --include "*UD-Q4_K_XL*" # Dynamic 2bitの場合は "*UD-Q2_K_XL*" を使用 ``` {% endstep %} {% step %} その後、会話モードでモデルを実行します: {% code overflow="wrap" %} ```bash /llama.cpp/llama-cli \ --model unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-GGUF/UD-Q4_K_XL/NVIDIA-Nemotron-3-Super-120B-A12B-UD-Q4_K_XL-00001-of-00003.gguf \ --ctx-size 16384 \\ --seed 3407 \\ --prio 2 \\ --temp 0.6 \ --top-p 0.95 ``` {% endcode %}
また、調整してください **コンテキストウィンドウ** 必要に応じて。ハードウェアが 256K を超えるコンテキストウィンドウに対応できることを確認してください。1M に設定すると CUDA の OOM を引き起こしてクラッシュする可能性があるため、デフォルトは 262,144 です。 {% endstep %} {% endstepper %} ### 🦥 Nemotron 3 と RL のファインチューニング Unsloth は現在、Nemotron 3 Super と Nano を含むすべての Nemotron モデルのファインチューニングをサポートしています。Nano のノートブック例については、Nemotron 3 の [Nano ファインチューニングガイド](/docs/jp/moderu/nemotron-3.md). #### Nemotron 3 Super * 安定性のため、ルーター層のファインチューニングはデフォルトで無効です。 * Nemotron-3-Super-120B - bf16 LoRA は 256GB の VRAM で動作します。マルチ GPU を使う場合は、次を追加してください `device_map = "balanced"` または次に従ってください： [マルチGPUガイド](/docs/jp/ji-chu/multi-gpu-training-with-unsloth.md). ### 🦙Llama-server のサービングとデプロイ 本番環境で Nemotron 3 をデプロイするには、次を使用します `llama-server` tmux 経由で新しいターミナルを開き、次のようにモデルをデプロイします: {% code overflow="wrap" %} ```bash ./llama.cpp/llama-server \ --model unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-GGUF/UD-Q4_K_XL/NVIDIA-Nemotron-3-Super-120B-A12B-UD-Q4_K_XL-00001-of-00003.gguf \ --alias "unsloth/NVIDIA-Nemotron-3-Super-120B-A12B" \ --prio 3 \\ --min-p 0.01 \\ --temp 0.6 \ --top-p 0.95 \\ --ctx-size 16384 \\ --port 8001 ``` {% endcode %} 上記を実行すると、次が得られます：
次に、新しいターミナルで、 `pip install openai`を実行した後、次を行います: {% code overflow="wrap" %} ```python from openai import OpenAI import json openai_client = OpenAI( base_url = "http://127.0.0.1:8001/v1", api_key = "sk-no-key-required", ) completion = openai_client.chat.completions.create( model = "unsloth/NVIDIA-Nemotron-3-Super-120B-A12B", messages = [{"role": "user", "content": "2+2 はいくつですか?"},], ) print(completion.choices[0].message.reasoning_content) print(completion.choices[0].message.content) ``` {% endcode %} これにより次が出力されます {% code overflow="wrap" %} ``` 了解です。ユーザーは「2+2 はいくつ？」と尋ねています。これは非常に基本的な算数の質問のようです。 うーん、注意深く聞いているか試しているのかもしれませんし、数学を学んでいる小さな子どもかもしれません。あるいは、単純な質問を私が複雑にしすぎないか確認しているのかも。 質問にひっかけの気配はないので、素直に答えるべきです。答えは間違いなく 4 で、基本的な足し算を疑う必要はありません。 一方で、何かジョーク（たとえば「2+2=5、ただし 2 が十分大きい場合」）の前振りなのかとも思いますが、文脈が示されていないので、真面目な質問だと仮定します。 明確かつ親しみを込めて答えるのがよさそうです。学習中なら、もっと質問しやすくなるかもしれません。ただし、飾りは不要です。事実を親切に述べるだけで十分です。 2 + 2 は **4** です。 これは 10 進法における基本的な算数の事実です。別の文脈（合同算術、2 進法、ジョークや引用など）での質問なら、どうぞ補足してください。喜んで対応します！😊 ``` {% endcode %} ### ベンチマーク 同サイズのモデルと比べても、Nemotron 3 Super は競争力があり、さらに最高のスループットを提供します。
--- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation by asking a question. Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters: ``` GET https://unsloth.ai/docs/jp/moderu/nemotron-3/nemotron-3-super.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.