> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/jp/moderu/nemotron-3.5-bolt.md). # NVIDIA Nemotron 3.5 Bolt: ローカル実行ガイド Unsloth GGUFsを使ってNemotron 3.5 Boltをローカルで実行します。 NVIDIA Nemotron-3.5-Bolt-74B-A9B は **74B パラメータ、9B アクティブ** Super VL から圧縮されたハイブリッド推論 MoE モデルです。対応しています **テキスト、画像、動画**、ツール呼び出し、 **128K コンテキスト** ウィンドウ。Unsloth の量子化版は Unsloth Desktop または llama.cpp でローカル実行できます。 その **ハイブリッド LatentMoE** アーキテクチャは Mamba-2、attention、Mixture-of-Experts レイヤーを組み合わせています。NVIDIA の IQ2 リリースでは、ほとんどのエキスパート重みを **2.06ビットの IQ2\_XXS**に格納しつつ、Mamba レイヤーは NVFP4、出力ヘッドは Q8\_0 のまま維持しています。 **Unsloth の量子化版：** [NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF](https://huggingface.co/unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF) Nemotron-3.5-Bolt 実行ガイドNemotron-3.5-Super-VL ガイド ### **⚙️ 使用ガイド** **Nemotron 3.5 Bolt の要件** 短いコンテキストで使う場合は、おおよそ **32GB RAM または統合メモリ**; **48～64GB** あると余裕が増えます。Bolt は **1ビットおよび 2ビット**: | 量子化 | ダウンロードサイズ | 推定最小 RAM | | --------------- | --------- | -------- | | 2ビット · IQ2\_XXS | 22GB | 24～32GB | * メモリ量は短いコンテキストでの使用を想定した推定値です。より長いコンテキストや画像/動画では、キャッシュとビジョンプロジェクタ用に追加メモリが必要です。ダウンロードサイズは GGUF 重みに基づいています。 {% hint style="info" %} Nemotron 3.5 Bolt は **LiLiCorr** ドラフトモデルを **NVFP4** （998MB）でデフォルト使用し、より高速な出力を実現します。追加で約 1～2GB のメモリが必要です。 {% endhint %} #### 推奨設定 Unsloth は推論設定を自動で構成します。llama.cpp の例では、NVIDIA が Bolt 固有の temperature や top-p の値を指定していないため、デフォルトのサンプリング設定を使用しています。 * **コンテキスト：** まず 4K から始め、メモリが許す範囲で最大 128K トークンまで増やしてください。 * **チャットテンプレート：** モデルに含まれているテンプレートを使用してください。 ### Nemotron 3.5 Bolt 実行ガイド ここでは **22GB `IQ2_XXS`** 量子化版をこのチュートリアルで使います。 #### 🦥 Unsloth Desktop で Nemotron 3.5 Bolt を実行 Nemotron 3.5 Bolt を直接 [Unsloth Desktop](https://unsloth.ai/docs/desktop) で **macOS、Windows、Linux**上で実行できます。アプリ内でモデルを検索、ダウンロードしてチャットできます。 {% stepper %} {% step %} #### **Unsloth をインストール** 始める最も簡単な方法は、 [Unsloth Desktop アプリ](/docs/jp/desktop.md). をダウンロードすることです * :apple: [macOS 用をダウンロード](https://unsloth.ai/download/mac) * :windows: [Windows 用をダウンロード](https://unsloth.ai/download/windows) * :linux: [Linux 用をダウンロード](https://unsloth.ai/download/linux) 手動でもインストールできます： {% tabs %} {% tab title="ネイティブインストール" %} **MacOS、Linux、WSL:** ```bash curl -fsSL https://unsloth.ai/install.sh | sh ``` **Windows:** ```powershell irm https://unsloth.ai/install.ps1 | iex ``` {% endtab %} {% tab title="Docker" %} その [UnslothのDockerイメージ](https://hub.docker.com/r/unsloth/unsloth) `unsloth/unsloth` Dockerで利用できます。 [ガイドを読む。](https://unsloth.ai/docs/get-started/install/docker) {% endtab %} {% tab title="Homebrew" %} Unsloth Desktopをインストール: {% code collapsedlinecount="10" %} ```bash brew install --cask unsloth ``` {% endcode %} Unsloth Desktopを更新: ```bash brew upgrade --cask unsloth ``` {% endtab %} {% tab title="WinGet" %} Unsloth Desktopをインストール: ```powershell winget install --id UnslothAI.Unsloth -e ``` Unsloth Desktopを更新: ```powershell winget upgrade --id UnslothAI.Unsloth -e ``` {% endtab %} {% endtabs %} {% endstep %} {% step %} #### **Nemotron 3.5 Bolt のセットアップと実行** 移動先： [Unsloth Chat](/docs/jp/shii/studio/chat.md) または Model hub で検索し、 **Nemotron 3.5 Bolt** を検索バーに入力して、目的のモデルと量子化版をダウンロードしてください。これでモデルを実行する準備が整いました！ Unsloth を使うと推論パラメータは自動設定されますが、手動で変更することもできます。コンテキスト長、チャットテンプレート、その他の設定も編集できます。 画像理解を試すには、PNG または JPEG を添付して **「この画像は何ですか？」**
と尋ねてください。詳細は、 [Unsloth 推論ガイド](/docs/jp/shii/studio/chat.md). {% endstep %} {% step %} Unsloth API で Nemotron 3.5 Bolt を提供 Nemotron 3.5 Bolt を `unsloth run`で提供します。コンテキストサイズ、GPU レイヤー、その他の設定について llama-server のフラグを渡せます。詳しくは [API ドキュメント](https://unsloth.ai/docs/basics/api) または [unsloth start](https://unsloth.ai/docs/integrations/unsloth-start). {% code overflow="wrap" %} ```bash unsloth run --model unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF:IQ2_XXS \\ --ctx-size 4096 --parallel 1 --alias nemotron-bolt \\ --host 127.0.0.1 --port 8001 ``` {% endcode %} {% endstep %} {% step %} #### これで Unsloth の準備ができました Unsloth Desktop から Nemotron 3.5 Bolt で、ほかにも次のようなことができます： * **ツール接続：** [Claude Code](/docs/jp/ji-chu/claude-code.md), [Codex](/docs/jp/ji-chu/codex.md), [ウェブ検索](/docs/jp/shii/studio/chat.md#advanced-web-search), [MCP](/docs/jp/ji-chu/mcp.md) など * **モデルを学習：** テキスト、拡散モデル、 [埋め込み](/docs/jp/ji-chu/embedding-finetuning.md)などをファインチューニング * **メディアを生成：** 作成して学習 [画像](/docs/jp/ji-chu/diffusion-image.md)、動画、 [TTS](/docs/jp/ji-chu/text-to-speech-tts-fine-tuning.md) をローカルで {% endstep %} {% endstepper %} ### KLD ベンチマーク 進行中 #### 🦙 llama.cpp で Nemotron 3.5 Bolt を実行 {% stepper %} {% step %} **llama.cpp をビルド** llama.cpp の最新バージョンをインストールしてください。下のビルド手順に従うこともできます。次の設定を変更： `-DGGML_CUDA=ON` を `-DGGML_CUDA=OFF` に、GPU がない場合、または CPU 推論だけを使いたい場合。 **Apple Mac / Metal デバイスでは**、次を設定し `-DGGML_CUDA=OFF` その後は通常どおり続けてください。Metal サポートはデフォルトで有効です。 ```bash apt-get update apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y git clone https://github.com/ggml-org/llama.cpp cmake llama.cpp -B llama.cpp/build \\ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpp ``` 動画には両方が必要 `ffmpeg` と `ffprobe` を PATH に通してください。以下のコマンドはこの `llama.cpp` ディレクトリから続けます。 {% endstep %} {% step %} **Unsloth GGUF をダウンロード** ダウンロード `IQ2_XXS` および画像/動画入力用のビジョンプロジェクタをダウンロードします。別バージョンをダウンロードするには、下の量子化名を変更してください： {% code overflow="wrap" %} ```bash python3 -m venv .venv source .venv/bin/activate pip install -U huggingface_hub hf download unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF \\ --local-dir models/nemotron-bolt \\ --include "*IQ2_XXS*.gguf" "*mmproj*.gguf" ``` {% endcode %} ダウンロードしたモデルと対応するプロジェクタのパスを設定します。分割された GGUF の場合は、すべてのシャードを一緒に保ち、 **最初のシャード**を指定してください。下のファイル名をダウンロード内容に合わせて調整してください。 ```bash MODEL_FILE="models/nemotron-bolt/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-IQ2_XXS.gguf" MMPROJ_FILE="models/nemotron-bolt/mmproj-BF16.gguf" ``` {% endstep %} {% step %} **テキストと画像を実行** テキストの場合： ```bash ./llama.cpp/llama-cli \\ --model "$MODEL_FILE" --ctx-size 4096 \\ --prompt "視覚言語モデルが何をするか説明してください。" ``` 画像の場合は、手元の PNG または JPEG のパスを指定してください： {% code overflow="wrap" %} ```bash ./llama.cpp/llama-mtmd-cli \\ --model "$MODEL_FILE" --mmproj "$MMPROJ_FILE" \\ --ctx-size 4096 \\ --image /path/to/picture.jpg \\ --prompt "この画像を説明し、見えているテキストを抽出してください。" ``` {% endcode %} {% endstep %} {% step %} **動画を実行** マルチモーダル CLI を起動： ```bash ./llama.cpp/llama-mtmd-cli \\ --model "$MODEL_FILE" --mmproj "$MMPROJ_FILE" \\ --ctx-size 4096 ``` その後、次の行を **CLI 内で**: ``` /video /path/to/video.mp4 動画を要約し、主要な出来事を説明してください。 ``` 最大2分までの MP4 クリップに対応します。1080p では最大 1 FPS / 128 フレーム、720p では最大 2 FPS / 256 フレームを使用できます。まずは短いクリップから始め、必要に応じてコンテキストを増やしてください。 {% endstep %} {% endstepper %} ### ベンチマーク
--- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation by asking a question. Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters: ``` GET https://unsloth.ai/docs/jp/moderu/nemotron-3.5-bolt.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.