> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/jp/moderu/nemotron-3.5-super-vl.md). # NVIDIA Nemotron 3.5 Super VL: ローカル実行ガイド Unsloth GGUFsを使ってNemotron 3.5 Super VLをローカルで実行します。 NVIDIA Nemotron-3.5-Super-VL-120B-A12B は **120B パラメータ、12B が有効な** ハイブリッド推論 MoE モデルで、 **最大 100万トークンのコンテキストを持ちます**。文書理解、コンピュータ利用、エージェントワークフローのためにテキスト、画像、動画を受け付け、テキストを生成します。 JSON 出力とツール呼び出しをサポートし、組み込みの Multi-Token Prediction (MTP) ヘッドを備えています。Unsloth GGUF は **46.1GB（1-bit）から132GB（8-bit）まであります**。また、NVFP4 の量子化版（79GB）も作成し、LiLiCorr DSpark モジュールを追加しました。 **Unsloth の量子化版：** [NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-GGUF](https://huggingface.co/unsloth/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-GGUF) Nemotron-3.5-Super-VL ガイドNemotron-3.5-Bolt の実行ガイド ### ⚙️ 使用ガイド **Nemotron 3.5 Super VL の要件** 最小の **1-bit GGUF は 46.1GB です**；少なくとも **64GB の RAM またはユニファイドメモリ**を見込んでください。 **4-bit GGUF は 86.9GB です**。およそ **128GB** を推奨します。モデルをシステム RAM と GPU VRAM に分割して実行することもできます。また、NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 から直接ロスレス変換された NVFP4 も実行できます。 | 量子化 | GGUF サイズ | 推定最小メモリ | | -------------------- | -------- | ------- | | UD-IQ1\_M (1-bit) | 46.1GB | 64GB | | UD-IQ2\_XXS (2-bit) | 51.1GB | 64GB | | UD-IQ2\_M (2-bit) | 55.9GB | 80GB | | UD-Q2\_K\_XL (2-bit) | 57.8GB | 80GB | | UD-IQ3\_XXS (3-bit) | 59.8GB | 80GB | | UD-Q3\_K\_XL (3-bit) | 65.8GB | 96GB | | NVFP4 (4-bit) | 79GB | 96GB | | UD-Q4\_K\_XL (4-bit) | 86.9GB | 128GB | | UD-Q5\_K\_XL (5-bit) | 111GB | 160GB | | UD-Q6\_K\_XL (6-bit) | 121GB | 160GB | | Q8\_0 (8-bit) | 132GB | 192GB | メモリ数値は **計画用の見積もりです** 。OS、ランタイム、KV キャッシュ、ビジョンプロジェクタのための余裕を含めた、控えめなコンテキスト向けの値です。GGUF ファイルサイズだけでは RAM 要件にはなりません。コンテキストが長い場合や動画では、より多くのメモリが必要です。1トークンあたり有効なのは 12B パラメータだけでも、全モデルの重みは保存しておく必要があります。ユニファイドメモリは 1 回だけ数えてください。 1つの **128GB ユニファイドメモリシステム**、たとえば DGX Spark は、推奨の 4-bit メモリ予算に収まります。NVIDIA は NIM 経由での DGX Spark サポートを文書化しています。これらの GGUF メモリ見積もりは、実測の性能結果ではありません。 ### 推奨設定 NVIDIA は次の設定を推奨しています： | パラメータ | 値 | | ------------- | ------ | | `temperature` | `1.0` | | `top_p` | `0.95` | まずは **16K コンテキスト** から始め、メモリに余裕があれば増やしてください。モデルは最大 **100万トークン**をサポートしますが、ランタイムや NIM プロファイルにはそれより低い上限がある場合があります。プロンプトトークンと出力トークンはこの予算を共有します。例は 1 リクエストずつ実行します。 **思考のオン/オフ** このモデルは `enable_thinking=True` （デフォルト）による推論と `enable_thinking=False` による直接応答をサポートします。NVIDIA NIM では chat-template の kwargs でこれを受け付けます。ローカル GGUF では、モデルの chat template とランタイムでサポートされる思考制御を使用してください。 {% hint style="info" %} Nemotron 3.5 Super VL には **MTP (Multi-Token Prediction)**が付属しており、Unsloth では高速出力のためにデフォルトで有効になっています。設定でオフにできます。詳細は [MTP ガイド](https://unsloth.ai/docs/models/mtp). {% endhint %} ### Nemotron 3.5 Super VL 実行ガイド このチュートリアルでは、 **UD-Q4\_K\_XL (86.9GB)** を使用し、 **約 128GB のメモリ**を想定します。メモリが少ない場合は、上の表からより小さい量子化版を選んでください。 #### 🦥 Unsloth Desktop で Nemotron 3.5 Super VL を実行 Nemotron 3.5 Super VL を直接 [Unsloth Desktop](https://unsloth.ai/docs/desktop) で **macOS、Windows、Linux**上で実行します。アプリ内でモデルを検索、ダウンロード、チャットできます。 {% stepper %} {% step %} #### **Unsloth のセットアップ** 始める最も簡単な方法は、 [Unsloth Desktop アプリ](/docs/jp/desktop.md). をダウンロードすることです。 * :apple: [macOS 用をダウンロード](https://unsloth.ai/download/mac) * :windows: [Windows 用をダウンロード](https://unsloth.ai/download/windows) * :linux: [Linux 用をダウンロード](https://unsloth.ai/download/linux) 手動でインストールすることもできます： {% tabs %} {% tab title="ネイティブインストール" %} **MacOS、Linux、WSL:** ```bash curl -fsSL https://unsloth.ai/install.sh | sh ``` **Windows:** ```powershell irm https://unsloth.ai/install.ps1 | iex ``` {% endtab %} {% tab title="Docker" %} その [UnslothのDockerイメージ](https://hub.docker.com/r/unsloth/unsloth) `unsloth/unsloth` Dockerで利用できます。 [ガイドを読む。](https://unsloth.ai/docs/get-started/install/docker) {% endtab %} {% tab title="Homebrew" %} Unsloth Desktopをインストール: {% code collapsedlinecount="10" %} ```bash brew install --cask unsloth ``` {% endcode %} Unsloth Desktopを更新: ```bash brew upgrade --cask unsloth ``` {% endtab %} {% tab title="WinGet" %} Unsloth Desktopをインストール: ```powershell winget install --id UnslothAI.Unsloth -e ``` Unsloth Desktopを更新: ```powershell winget upgrade --id UnslothAI.Unsloth -e ``` {% endtab %} {% endtabs %} {% endstep %} {% step %} #### Nemotron 3.5 Super VL のセットアップと実行 へ移動し、 [Unsloth Chat](/docs/jp/shii/studio/chat.md) または Model hub の検索バーで Nemotron 3.5 Super VL を検索して、希望するモデルと量子化版をダウンロードします。これでモデルを実行できる準備が整いました！ Unsloth を使う場合、推論パラメータは自動設定されるはずですが、手動で変更することもできます。コンテキスト長、チャットテンプレート、その他の設定も編集できます。 画像理解を試すには、PNG または JPEG を添付して **「この画像は何ですか？」**
と尋ねてください。 [Unsloth 推論ガイド](/docs/jp/shii/studio/chat.md). {% endstep %} {% step %} #### Unsloth API で Nemotron 3.5 Super VL を提供する で Nemotron 3.5 Super VL を提供する `unsloth run`を使用します。コンテキストサイズ、GPU レイヤー、その他の設定には llama-server のフラグを渡せます。詳細は [API ドキュメント](https://unsloth.ai/docs/basics/api) または [unsloth start](https://unsloth.ai/docs/integrations/unsloth-start). {% code overflow="wrap" %} ```bash unsloth run --model unsloth/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-GGUF:UD-IQ2_XXS \\ --ctx-size 4096 --parallel 1 --alias nemotron-super-vl \\ --host 127.0.0.1 --port 8001 ``` {% endcode %} {% endstep %} {% step %} #### Unsloth の準備が整いました Unsloth Desktop 経由で Nemotron 3.5 Super VL で次のようなさまざまなこともできます： * **ツールを接続：** [Claude Code](/docs/jp/ji-chu/claude-code.md), [Codex](/docs/jp/ji-chu/codex.md), [ウェブ検索](/docs/jp/shii/studio/chat.md#advanced-web-search), [MCP](/docs/jp/ji-chu/mcp.md) など * **モデルを学習：** テキスト、diffusion、 [embedding](/docs/jp/ji-chu/embedding-finetuning.md)などをファインチューニング * **メディアを生成：** 作成して学習 [画像](/docs/jp/ji-chu/diffusion-image.md)、動画、 [TTS](/docs/jp/ji-chu/text-to-speech-tts-fine-tuning.md) をローカルで {% endstep %} {% endstepper %} ### KLD ベンチマーク Nemotron Super を変換するために UD-3 を使用し、一般的な KLD と、過学習の確認のために未見テキストの KLD データセットも実施しました。一般的には、ディスク容量に対する KLD の観点では UD-Q4\_K\_XL が最良です。NVFP4 も概ね問題なく、UD-Q3\_K\_XL も妥当です。
#### 🦙 llama.cpp で Nemotron 3.5 Super VL を実行 {% stepper %} {% step %} **llama.cpp をビルド** llama.cpp の最新バージョンをインストールしてください。以下のビルド手順に従うこともできます。 `-DGGML_CUDA=ON` を `-DGGML_CUDA=OFF` に変更してください。GPU がない場合や CPU 推論だけを使いたい場合です。 **Apple Mac / Metal デバイスでは**、 `-DGGML_CUDA=OFF` を設定し、その後は通常どおり続けてください。Metal サポートはデフォルトで有効です。 ```bash apt-get update apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y git clone https://github.com/ggml-org/llama.cpp cmake llama.cpp -B llama.cpp/build \ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpp ``` 動画には両方 `ffmpeg` と `ffprobe` が PATH に必要です。以下のコマンドはこの `llama.cpp` ディレクトリから続けてください。 {% endstep %} {% step %} **Unsloth GGUF をダウンロード** モデルとそのビジョンプロジェクタをダウンロードします： {% code overflow="wrap" %} ```bash python3 -m venv .venv source .venv/bin/activate pip install -U huggingface_hub hf download unsloth/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-GGUF \\ --local-dir models/nemotron-super-vl \\ --include "*UD-Q4_K_XL*.gguf" "*mmproj*.gguf" ``` {% endcode %} ダウンロードしたモデルと対応するプロジェクタのパスを設定します。分割された GGUF の場合は、すべてのシャードを一緒に置き、 **最初のシャード**を指すようにしてください。以下のファイル名はダウンロード内容に合わせて調整してください。 ```bash MODEL_FILE="models/nemotron-super-vl/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-UD-Q4_K_XL.gguf" MMPROJ_FILE="models/nemotron-super-vl/mmproj-BF16.gguf" ``` {% endstep %} {% step %} **テキストと画像を実行** テキストの場合： ```bash ./llama.cpp/llama-cli \ --model "$MODEL_FILE" --ctx-size 16384 --temp 1.0 --top-p 0.95 --top-k 0 --min-p 0.0 \ --prompt "ビジョン・ランゲージモデルが何をするのか説明してください。" ``` 画像の場合は、手元の RGB PNG または JPEG のパスを設定してください。PDF の場合は、まずページを画像にレンダリングします： {% code overflow="wrap" %} ```bash ./llama.cpp/llama-mtmd-cli \ --model "$MODEL_FILE" --mmproj "$MMPROJ_FILE" \ --ctx-size 16384 --temp 1.0 --top-p 0.95 --top-k 0 --min-p 0.0 \ --image /path/to/picture.jpg \\ --prompt "この画像を説明し、見えるテキストがあれば抽出してください。" ``` {% endcode %} {% endstep %} {% step %} **動画を実行** マルチモーダル CLI を起動します： ```bash ./llama.cpp/llama-mtmd-cli \ --model "$MODEL_FILE" --mmproj "$MMPROJ_FILE" \ --ctx-size 16384 --temp 1.0 --top-p 0.95 --top-k 0 --min-p 0.0 ``` その後、次の行を入力します **CLI 内で**: ``` /video /path/to/video.mp4 動画を要約し、主要な出来事を説明してください。 ``` モデルカードでは **1〜2 分の MP4 クリップ**を推奨しています。NIM は 2 FPS、最大 256 フレームでサンプルします。ローカルのサンプリングはランタイムに依存します。短いクリップから始め、必要に応じてコンテキストを増やしてください。動画フレームがプロンプトトークンを消費するためです。 {% endstep %} {% endstepper %} #### Llama-server の提供とデプロイ {% stepper %} {% step %} **llama-server を起動** メディアディレクトリを作成してサーバーを起動します： {% code overflow="wrap" %} ```bash mkdir -p media ./llama.cpp/llama-server \ --model "$MODEL_FILE" --mmproj "$MMPROJ_FILE" \ --alias nemotron-super-vl \ --ctx-size 16384 --parallel 1 --temp 1.0 --top-p 0.95 --top-k 0 --min-p 0.0 \ --media-path "$PWD/media" \ --host 127.0.0.1 --port 8001 ``` {% endcode %} 開く **** を同じマシンで開き、llama.cpp サーバーとチャットします。 {% endstep %} {% step %} **API リクエストを送信** 動画の場合は、短いクリップを `media/clip.mp4`にコピーし、別のターミナルで次のコマンドを実行します： {% code overflow="wrap" %} ```bash curl http://127.0.0.1:8001/v1/chat/completions \\ -H 'Content-Type: application/json' \\ -d '{ "model": "nemotron-super-vl", "messages": [{"role": "user", "content": [ {"type": "text", "text": "この動画を要約してください。"}, {"type": "input_video", "input_video": {"url": "file://clip.mp4"}} ]}], "max_tokens": 1024 }' ``` {% endcode %} `--media-path` を使うと、サーバーはそのディレクトリからローカルメディアを読み取れます。テキストのみのリクエストでは、 `"content": "2+2 は何ですか？"` を content 配列の代わりに使います。 {% endstep %} {% endstepper %} #### 📊 ベンチマーク
--- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation by asking a question. Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters: ``` GET https://unsloth.ai/docs/jp/moderu/nemotron-3.5-super-vl.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.