> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/jp/moderu/nemotron-3-ultra.md). # NVIDIA Nemotron 3 Ultra - ローカル実行方法 NVIDIA Nemotron 3 Ultra はオープンな **550Bパラメータ、55Bアクティブ** 最先端推論モデルであり、NVIDIA の **最大のモデル** これまでにリリースされたものです。Nemotron-3-Ultra-550B-A55B は、長時間稼働する自律エージェントや、コーディング、ディープリサーチのワークフローにまたがる推論向けに構築されています。これは **西側のオープンモデルとして最強の**であり、新しい Open Model, Weights & Data License を採用しています。 最大で **100万トークンのコンテキスト**、Nemotron 3 Ultra は Hybrid Transformer-Mamba MoE アーキテクチャを採用し、継続的なセッションを通して長いエージェント状態、ログ、計画を保持できます。GGUF は [Nemotron-3-Ultra-550B-A55B](https://huggingface.co/unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B-GGUF) 動的1bitではディスク容量が189GBかかります。NVFP4 を用いて事前学習も行っています。私たちはまた実施しました [GGUF の KLD ベンチマーク](#kld-benchmarks). ### ⚙️ 使用ガイド NVIDIA は推論に次の設定を推奨しています： * `temperature = 1.0` * `top_p = 0.95` | 詳細 | Nemotron 3 Ultra | | ------- | ----------------------------------------------------------------------------------------- | | モデルサイズ | 総パラメータ数 550B / アクティブパラメータ数 55B | | コンテキスト長 | 最大 100万トークン | | アーキテクチャ | Latent MoE と Multi-Token Prediction を備えた Hybrid Transformer-Mamba MoE（MTP は現在 GGUF では未対応） | | モデル入出力 | テキスト入力、テキスト出力 | チャットテンプレートは以下のとおりです： {% code overflow="wrap" %} ``` <|im_start|>system\n<|im_end|>\n<|im_start|>user\nWhat is 1+1?<|im_end|>\n<|im_start|>assistant\n2<|im_end|>\n<|im_start|>assistant\n\n ``` {% endcode %} ### Nemotron-3-Ultra を実行 このモデルの3ビット版には約256GBのRAM、4ビット版には約300GB、8ビット版には600GBが必要です。このガイドでは3ビットを使用します `UD-IQ3_XXS` これは256GBのデバイスに収まり、サイズと精度のバランスが良好です。ユースケースに応じて、 [異なる設定を使う必要があります](#usage-guide). **GGUF：** [Nemotron-3-Ultra-550B-A55B](https://huggingface.co/unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B-GGUF) Unsloth Studioで実行llama.cppで実行 ### 🦥 Unsloth Studioガイド このチュートリアルでは、 [Unsloth Studio](/docs/jp/shii/studio.md)、これは LLM の実行と学習のための私たちの UI です。Unsloth Studio を使えば、モデルを実行し、画像とテキストをローカルで入力できます **Mac、Windows**、Linux上で利用でき、さらに： {% columns %} {% column %} * 検索、ダウンロード、 [GGUFの実行](/docs/jp/shii/studio.md#run-models-locally) およびsafetensorモデル * **比較** モデル **を並べて** * [**自己修復** ツール呼び出し](/docs/jp/shii/studio.md#execute-code--heal-tool-calling) + **ウェブ検索** * [**コード実行**](/docs/jp/shii/studio.md#run-models-locally) （Python、Bash） * [自動推論](/docs/jp/shii/studio.md#model-arena) パラメータ調整（temp、top-pなど） * [LLMの学習](/docs/jp/shii/studio.md#no-code-training) VRAMを70%削減しつつ2倍高速 {% endcolumn %} {% column %}
{% endcolumn %} {% endcolumns %} {% stepper %} {% step %} #### Unsloth をインストール **MacOS、Linux、WSL：** ```bash curl -fsSL https://unsloth.ai/install.sh | sh ``` **Windows PowerShell：** ```bash irm https://unsloth.ai/install.ps1 | iex ``` {% endstep %} {% step %} #### Unsloth Studioのセットアップ（1回だけ） セットアップでは、自動的にNode.js（nvm経由）をインストールし、フロントエンドをビルドし、すべてのPython依存関係をインストールし、CUDA対応でllama.cppをビルドします。 {% hint style="info" %} **WSLユーザー：** 次の入力を求められます： `sudo` ビルド依存関係をインストールするための`cmake`, `git`, `libcurl4-openssl-dev`). {% endhint %} {% endstep %} {% step %} #### Unsloth を起動 **MacOS、Linux、WSL：** ```bash source unsloth_studio/bin/activate unsloth studio -H 0.0.0.0 -p 8888 ``` **Windows PowerShell：** ```bash unsloth studio ```
その後 `http://127.0.0.1:8888` をブラウザで開いてください。 {% endstep %} {% step %} #### Nemotron-3-Ultra を検索してダウンロード 初回起動時には、アカウントを保護するためのパスワードを作成し、後で再度サインインする必要があります。その後、 [Unsloth Chat](/docs/jp/shii/studio/chat.md) タブで検索バーに Nemotron-3-Ultra と入力し、目的のモデルと量子化をダウンロードしてください。 {% endstep %} {% step %} #### Nemotron-3-Ultra を実行 Unsloth Studioを使用すると推論パラメータは自動設定されますが、手動で変更することもできます。コンテキスト長、チャットテンプレート、その他の設定も編集できます。 詳細については、 [Unsloth Studio 推論ガイド](/docs/jp/shii/studio/chat.md). {% endstep %} {% step %} #### Nemotron-3-Ultra のサービング また、次も使用できます `unsloth studio run` 次のように llama-server 経由でモデルを提供します： {% code overflow="wrap" %} ```bash unsloth studio run --model unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B-GGUF:UD-Q4_K_XL ``` {% endcode %} {% endstep %} {% endstepper %} ### 🦙 Llama.cpp チュートリアル： llama.cpp で実行する手順（ほとんどのデバイスに収めるため 4 ビットを使用します）： {% stepper %} {% step %} 最新の `llama.cpp` で [GitHub はこちら](https://github.com/ggml-org/llama.cpp)。以下のビルド手順に従うこともできます。 `-DGGML_CUDA=ON` を `-DGGML_CUDA=OFF` に変更してください。GPU がない場合や CPU 推論だけを使いたい場合です。 **Apple Mac / Metal デバイスの場合**、 `-DGGML_CUDA=OFF` に設定し、そのまま続行してください。Metal サポートはデフォルトで有効です。 {% code overflow="wrap" %} ```bash apt-get update apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y git clone https://github.com/ggml-org/llama.cpp cmake llama.cpp -B llama.cpp/build \\ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpp ``` {% endcode %} {% endstep %} {% step %} 以下のコードでモデルをダウンロードしてください（ `pip install huggingface_hub`をインストールした後）。Q4\_K\_M や `UD-Q4_K_XL` のような他の量子化版も選べます。サイズと精度のバランスを取るため、少なくとも 2ビット動的量子化 `UD-Q2_K_XL` の使用を推奨します。ダウンロードが止まる場合は、次を参照してください： [Hugging Face Hub、XETのデバッグ](/docs/jp/ji-ben/troubleshooting-and-faqs/hugging-face-hub-xet-debugging.md) {% code overflow="wrap" %} ```bash pip install huggingface_hub hf download unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B-GGUF \ --local-dir unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B-GGUF \ --include "*UD-IQ3_XXS*" # 動的2ビットには "*UD-Q2_K_XL*" を使用 ``` {% endcode %} {% endstep %} {% step %} その後、会話モードでモデルを実行します： {% code overflow="wrap" %} ```bash ./llama.cpp/llama-cli \\ --model unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B-GGUF/UD-IQ3_XXS/NVIDIA-Nemotron-3-Ultra-550B-A55B-UD-IQ3_XXS-00001-of-00006.gguf \ --temp 1.0 \\ --top-p 0.95 \\ --min-p 0.01 ``` {% endcode %} {% endstep %} {% endstepper %} #### Llama-server のサービングとデプロイ Nemotron-3-Ultra をローカルでデプロイするには、 `llama-server`。新しいターミナルで、たとえば次のように `tmux`、モデルをデプロイします： ```bash ./llama.cpp/llama-server \\ -hf unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B-GGUF:UD-IQ3_XXS \ --alias "unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B" \ --temp 1.0 \\ --top-p 0.95 \\ --port 8001 ``` モデルを手動でダウンロードした場合は、次を使用します： {% code overflow="wrap" %} ```bash ./llama.cpp/llama-server \\ --model unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B-GGUF/UD-IQ3_XXS/NVIDIA-Nemotron-3-Ultra-550B-A55B-UD-IQ3_XXS-00001-of-00006.gguf \ --alias "unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B" \ --temp 1.0 \\ --top-p 0.95 \\ --port 8001 ``` {% endcode %} その後、新しいターミナルで、OpenAI クライアントを次でインストールしたら `pip install openai`: ```python from openai import OpenAI openai_client = OpenAI( base_url = "http://127.0.0.1:8001/v1", api_key = "sk-no-key-required", ) completion = openai_client.chat.completions.create( model = "unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B", messages = [ {"role": "user", "content": "What is 2+2?"}, ], ) print(completion.choices[0].message.reasoning_content) print(completion.choices[0].message.content) ```
また、B200 を4台使うと、生成速度は約40トークン/秒になります！
### Unsloth GGUF ベンチマーク 私たちは GGUF 量子化について KLD 分析も行いました。対数平均 KLD スケールでは、私たちの [動的手法](/docs/jp/ji-ben/unsloth-dynamic-2.0-ggufs.md) より重要な層は高精度のまま残し、残りは低いビットにする方式です。
線形スケールでは：
### 公式ベンチマーク Nemotron 3 Ultra は NVIDIA の Nemotron 3 系列で最大の推論モデルであり、卓越した推論、コーディング、エージェント系タスクで先行する精度を目指しつつ、高スループットによってタスク完了までの時間を最適化するよう位置づけられています。 Ultra は、短い単発応答よりも持続的な推論がタスク成功を左右するワークロードに特に適しています： * 大規模リポジトリにわたる自律的なコーディングセッション * 相反する証拠を含む多数の情報源にわたる深い調査 * ツール使用ループが持続するエンタープライズワークフロー * EDA / チップ設計の検証と故障解析 図1および図2に示すように、Nemotron 3 Ultra はエージェント生産性、指示追従、長文コンテキストタスクの精度で先行し、全体としても優れた性能を発揮し、他の主要オープンモデルと比べてコストを30%削減します。 図1：Nemotron 3 Ultra は、エージェント生産性、コーディング、指示追従のエージェント系ベンチマークでオープンモデル中トップです。
Image of a table showing Nemotron 3 Ultra leading among open models on agentic benchmarks for agent productivity, coding, and instruction following.
図2：Nemotron 3 Ultra は最大30%のコスト削減を実現し、コスト効率の最前線で先行しています
Nemotron 3 Ultra が最大30%のコスト削減を実現し、コスト効率の最前線で先行していることを示す画像
NVIDIA のその他のベンチマーク： | ベンチマーク | N-3-Ultra 550B-A55B | MiniMax-2.7 230B-A10B | GLM-5.1 744B-A40B | Kimi-K2.6 1T-A32B | | | | | -------------------------------------------- | :-----------------: | :-------------------: | :---------------: | :---------------: | :---: | :---: | :--: | | **エージェント型** | | | | | | | | | Terminal Bench 2.1 | 56.4 | 55.5 | 59.3 | 67.2 | 49.9 | 49.2 | 54.2 | | GDPVal | 46.7 | 47.6 | 54.7 | 50.4 | 34.6 | 54.6 | 50.2 | | SWE-Bench Verified | 71.9 | 72.2 | 73.8 | 69.5 | 69.9 | 74.0 | 72.4 | | SWE-Bench Multilingual | 67.7 | 69.2 | 73.8 | 65.9 | 67.7 | 71.9 | 72.1 | | ProfBench (Search) | 56.0 | 52.0 | 46.0 | 56.0 | 53.0 | 59.9 | 57.0 | | PinchBench | 90.0 | 77.6 | 81.2 | 90.2 | 86.6 | 88.6 | 91.3 | | TauBench V3 | | | | | | | | | 航空 | 81.5 | 75.3 | 85.0 | 85.8 | 76.5 | 80.8 | 80.8 | | 小売 | 86.4 | 84.9 | 84.1 | 82.9 | 88.5 | 88.9 | 89.1 | | 通信 | 92.9 | 89.6 | 96.9 | 97.8 | 98.0 | 96.3 | 98.3 | | 銀行 | 22.6 | 14.6 | 12.8 | 23.1 | 20.9 | 25.9 | 26.7 | | 平均 | 70.9 | 66.1 | 69.7 | 72.4 | 71.0 | 73.2 | 73.7 | | BrowseComp | 44.4 | 54.1 | 59.4 | 61.3 | 40.5 | 59.4 | 46.9 | | Vals.ai Financial Agent 1.1 | | | | | | | | | ウェブ検索なし | 60.1 | 51.3 | 60.2 | 54.0 | 61.3 | 58.9 | 58.4 | | ウェブ検索あり | 53.7 | 50.5 | 60.7 | 58.8 | 59.0 | 62.3 | 60.1 | | **推論と知識** | | | | | | | | | IOI 2025 | 570.0 | -- | 456.5 | 585.0 | 441.3 | 580.1 | -- | | LiveCodeBench (v6) | 89.0 | 77.2 | 85.7 | 90.2 | 79.3 | 92.5 | 90.9 | | IMOAnswerBench（ツールなし） | 88.6 | 68.3 | 86.8 | 91.1 | 83.1 | 93.0 | 91.1 | | IMOAnswerBench（ツールあり） | 92.3 | 75.1 | 91.1 | 93.71 | 84.51 | 85.4 | 89.6 | | Apex-Shortlist（ツールなし） | 74.9 | 28.9 | 71.1 | 77.4 | 61.4 | 85.8 | 82.4 | | Apex-Shortlist（ツールあり） | 84.8 | 51.9 | 79.0 | 73.2 | 60.4 | 86.5 | 82.0 | | GPQA（ツールなし） | 87.0 | 86.6 | 86.1 | 91.0 | 87.1 | 87.8 | 88.5 | | SciCode（サブタスク） | 44.6 | 38.3 | 47.7 | 52.0 | 48.0 | 50.5 | 48.2 | | HLE（ツールなし） | 26.7 | 23.1 | 27.2 | 34.8 | 28.5 | 37.7 | 32.2 | | HLE（ツールあり） | 37.4 | -- | 50.4 | 54.0 | 48.3 | 48.2 | 45.1 | | CritPt（ツールなし） | 3.1 | 0.6 | 3.7 | 9.1 | 2.4 | 14.0 | 10.6 | | MMLU-Pro | 86.8 | 81.9 | 85.9 | 88.1 | 88.3 | 87.5 | 86.4 | | OmniScience の精度 | 24.1 | 20.5 | 31.3 | 35.5 | 35.9 | 46.8 | 39.9 | | OmniScience の非幻覚性 | 78.7 | 74.4 | 66.8 | 67.1 | 7.4 | 5.7 | 2.8 | | **チャットと指示追従** | | | | | | | | | IFBench（プロンプト緩め） | 81.7 | 74.6 | 76.6 | 73.7 | 78.2 | 79.1 | 82.0 | | マルチチャレンジ | 63.8 | 42.5 | 63.0 | 63.1 | 63.9 | 64.1 | 63.5 | | **長文コンテキスト** | | | | | | | | | AA-LCR | 65.4 | 69.8 | 66.9 | 70.2 | 68.3 | 67.3 | 62.7 | | RULER (1M) | 94.7 | -- | -- | -- | 90.1 | 94.2 | 87.7 | | Longbench v2（1M以下） | 61.9 | -- | -- | -- | 68.9 | 62.1 | 57.0 | | **多言語** | | | | | | | | | MMLU-ProX（en/de/fr/es/it/ja/zh/hi/pt/ko の平均） | 83.0 | 78.4 | 85.8 | 85.0 | 86.4 | 85.6 | 84.3 | | WMT24++（英→xx） | 83.7 | 82.8 | 84.4 | 84.5 | 86.8 | 85.9 | 85.9 | --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter: ``` GET https://unsloth.ai/docs/jp/moderu/nemotron-3-ultra.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.