> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/jp/moderu/nemotron-3.5-bolt.md).

# NVIDIA Nemotron 3.5 Bolt: ローカル実行ガイド

Unsloth GGUFsを使ってNemotron 3.5 Boltをローカルで実行します。

NVIDIA Nemotron-3.5-Bolt-**E4B** と Nemotron-3.5-Bolt-**74B-A9B** はNVIDIAによる新しいオープンモデルです。Bolt-74B-A9Bは **74Bパラメータの**、Super VLから圧縮された9Bアクティブのハイブリッド推論MoEモデルです。対応しているのは **テキスト、画像、動画**、ツール呼び出しと **128Kコンテキスト** ウィンドウです。モデルをローカルで実行するには [Unsloth Desktop](https://unsloth.ai/docs/jp/desktop.md) または llama.cpp を使用します。

Bolt-E4B-4GBは **8Bパラメータの** （4B実効）の、 [Gemma 4](https://unsloth.ai/docs/jp/moderu/gemma-4.md) E4Bベースのモデルです。対応しているのは **64Kコンテキストウィンドウ**、マルチターンのツール呼び出しと設定可能な推論です。ダウンロード: [74B-A9B Unsloth GGUF](https://huggingface.co/unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF) · [E4B NVIDIA GGUF](https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB).

<a href="https://unsloth.ai/docs/jp/moderu/nemotron-3.5-bolt.md#run-nemotron-35-bolt-guide" class="button primary">Nemotron-3.5-Bolt実行ガイド</a><a href="https://unsloth.ai/docs/jp/moderu/nemotron-3.5-super-vl.md" class="button secondary">Nemotron-3.5-Super-VL ガイド</a>

### ⚙️ 使用ガイド

**Nemotron 3.5 Boltの要件**

場合は **74B-A9B** 短いコンテキストでの使用では、目安として **32GB RAMまたはユニファイドメモリ**; **48～64GB** あるとより余裕があります。 **E4B** はおおよそ **4GBのVRAM** または **6GBのRAMで動作します。**

| モデル / 量子化                      | ダウンロードサイズ | メモリの目安              |
| ------------------------------ | --------- | ------------------- |
| **E4B** · Q4\_K\_M (4-bit)     | 6.18GB    | 約4GBのVRAM + システムRAM |
| **74B-A9B** · IQ2\_XXS (2-bit) | 22GB      | 24～32GB RAM         |

* メモリ使用量はコンテキストと実行環境によって変わります。E4Bの約4GBという数値はVRAMであり、システム全体のRAMやダウンロードサイズではありません。74B-A9Bモデルでは、画像/動画とビジョンプロジェクタ用に追加メモリが必要です。ダウンロードサイズはGGUF重みに対するものです。

{% hint style="info" %}
**74B-A9B** は **LiLiCorr** のドラフトモデルを **NVFP4** （998MB）をUnslothでデフォルト使用し、より高速な出力を実現します。これにはさらに約1～2GBのメモリが必要です。E4Bには別のオプションの [DFlashドラフター](https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB-DFlash).
{% endhint %}

#### 推奨設定

Unslothは推論設定を自動で構成します。74B-A9Bの例ではデフォルトのサンプリング設定を使用しています。E4Bについては、NVIDIAは **temperature 1.0** と **top\_p 0.95** を推論の有効/無効にかかわらず推奨しています。

* **コンテキスト:** 最大 **74B-A9Bでは128K** または **E4Bでは64K**.

### Nemotron 3.5 Bolt実行ガイド <a href="#run-nemotron-35-bolt-guide" id="run-nemotron-35-bolt-guide"></a>

このチュートリアルでは **22GBの74B-A9B IQ2\_XXS** 量子化版を使用します。

#### 🦥 Unsloth DesktopでNemotron 3.5 Boltを実行 <a href="#run-nemotron-35-bolt-in-unsloth-desktop" id="run-nemotron-35-bolt-in-unsloth-desktop"></a>

Nemotron 3.5 Boltを直接 [Unsloth Desktop](https://unsloth.ai/docs/desktop) で **macOS、Windows、Linux**上で実行できます。アプリ内でモデルを検索、ダウンロードしてチャットできます。

{% stepper %}
{% step %}

#### **Unslothをインストール**

始める最も簡単な方法は、 [Unsloth Desktopアプリ](https://unsloth.ai/docs/jp/desktop.md).

<a href="https://unsloth.ai/download" class="button primary" data-icon="down-to-bracket">Unslothをダウンロード</a>

* <i class="fa-apple">:apple:</i> [macOS向けにダウンロード](https://unsloth.ai/download/mac)
* <i class="fa-windows">:windows:</i> [Windows向けにダウンロード](https://unsloth.ai/download/windows)
* <i class="fa-linux">:linux:</i> [Linux向けにダウンロード](https://unsloth.ai/download/linux)

手動でもインストールできます:

{% tabs %}
{% tab title="ネイティブインストール" %}
**MacOS、Linux、WSL:**

```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```

**Windows:**

```powershell
irm https://unsloth.ai/install.ps1 | iex
```

{% endtab %}

{% tab title="Docker" %}
その [UnslothのDockerイメージ](https://hub.docker.com/r/unsloth/unsloth) `unsloth/unsloth` Dockerで利用できます。 [ガイドを読む。](https://unsloth.ai/docs/get-started/install/docker)
{% endtab %}

{% tab title="Homebrew" %}
Unsloth Desktopをインストール:

{% code collapsedlinecount="10" %}

```bash
brew install --cask unsloth
```

{% endcode %}

Unsloth Desktopを更新:

```bash
brew upgrade --cask unsloth
```

{% endtab %}

{% tab title="WinGet" %}
Unsloth Desktopをインストール:

```powershell
winget install --id UnslothAI.Unsloth -e
```

Unsloth Desktopを更新:

```powershell
winget upgrade --id UnslothAI.Unsloth -e
```

{% endtab %}
{% endtabs %}
{% endstep %}

{% step %}

#### **Nemotron 3.5 Boltのセットアップと実行**

移動先: [Unsloth Chat](https://unsloth.ai/docs/jp/shii/studio/chat.md) またはModel hubで次を検索: **Nemotron 3.5 Bolt** を検索バーに入力し、目的のモデルと量子化版をダウンロードします。これでモデルを実行する準備ができました！

Unslothを使用すると推論パラメータは自動設定されますが、手動でも変更できます。コンテキスト長、チャットテンプレート、その他の設定も編集できます。

画像理解を試すには、PNGまたはJPEGを添付して **「この画像は何ですか？」**

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FREZvGu7WyeaPxOjmrzPQ%2Fnemotron-bolt-unsloth-desktop.png?alt=media&amp;token=79d73c34-27fa-43b0-8362-99718df43478" alt="" width="375"><figcaption></figcaption></figure>

と質問してください。詳細は [Unsloth推論ガイド](https://unsloth.ai/docs/jp/shii/studio/chat.md).
{% endstep %}

{% step %}
Unsloth APIでNemotron 3.5 Boltを提供

Nemotron 3.5 Boltを `unsloth run`で提供します。コンテキストサイズ、GPUレイヤー、その他の設定には llama-server のフラグを渡せます。モデル名もそれに合わせて変更してください。詳細は [APIドキュメント](https://unsloth.ai/docs/basics/api) または [unsloth start](https://unsloth.ai/docs/integrations/unsloth-start).

{% code overflow="wrap" %}

```bash
unsloth run --model unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF:IQ2_XXS \
    --ctx-size 4096 --parallel 1 --alias nemotron-bolt \
    --host 127.0.0.1 --port 8001
```

{% endcode %}
{% endstep %}

{% step %}

#### Unslothの準備ができました

Unsloth Desktopを使ってNemotron 3.5 Boltで他にも多くのことができます。たとえば:

* **ツールを接続:** [Claude Code](https://unsloth.ai/docs/jp/ji-chu/claude-code.md), [Codex](https://unsloth.ai/docs/jp/ji-chu/codex.md), [ウェブ検索](https://unsloth.ai/docs/jp/shii/studio/chat.md#advanced-web-search), [MCP](https://unsloth.ai/docs/jp/ji-chu/mcp.md) など
* **モデルを学習:** テキスト、拡散モデル、 [埋め込み](https://unsloth.ai/docs/jp/ji-chu/embedding-finetuning.md)などをファインチューニング
* **メディアを生成:** 作成して学習 [画像](https://unsloth.ai/docs/jp/ji-chu/diffusion-image.md)、動画、 [TTS](https://unsloth.ai/docs/jp/ji-chu/text-to-speech-tts-fine-tuning.md) をローカルで
  {% endstep %}
  {% endstepper %}

#### 🦙 llama.cppでNemotron 3.5 Boltを実行 <a href="#run-nemotron-35-bolt-in-llama.cpp" id="run-nemotron-35-bolt-in-llama.cpp"></a>

{% stepper %}
{% step %}
**llama.cppをビルド**

llama.cppの最新バージョンをインストールしてください。以下のビルド手順に従うこともできます。 `-DGGML_CUDA=ON` を `-DGGML_CUDA=OFF` に変更してください。GPUがない場合、またはCPU推論だけを使いたい場合です。 **Apple Mac / Metalデバイスでは**、 `-DGGML_CUDA=OFF` を設定し、その後は通常どおり続けてください。- Metalサポートはデフォルトで有効です。

```bash
apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp
```

動画には両方が必要です `ffmpeg` と `ffprobe` がPATHにある必要があります。以下のコマンドはこの `llama.cpp` ディレクトリから続けて実行してください。
{% endstep %}

{% step %}
**Unsloth GGUFをダウンロード**

ダウンロード `IQ2_XXS` と、画像/動画入力用のビジョンプロジェクタをダウンロードします。別のバージョンをダウンロードするには、以下の量子化名を変更してください:

{% code overflow="wrap" %}

```bash
python3 -m venv .venv
source .venv/bin/activate
pip install -U huggingface_hub

hf download unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF \
    --local-dir models/nemotron-bolt \
    --include "*IQ2_XXS*.gguf" "*mmproj*.gguf"
```

{% endcode %}

ダウンロードしたモデルと対応するプロジェクタのパスを設定します。分割GGUFの場合は、すべてのシャードを一緒に保持し、 **最初のシャード**を指すようにしてください。以下のファイル名はダウンロードに合わせて調整してください。

```bash
MODEL_FILE="models/nemotron-bolt/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-IQ2_XXS.gguf"
MMPROJ_FILE="models/nemotron-bolt/mmproj-BF16.gguf"
```

{% endstep %}

{% step %}
**テキストと画像を実行**

テキストの場合:

```bash
./llama.cpp/llama-cli \
    --model "$MODEL_FILE" --ctx-size 4096 \
    --prompt "視覚言語モデルが何をするか説明してください。"
```

画像の場合は、自分のPNGまたはJPEGのパスを設定してください:

{% code overflow="wrap" %}

```bash
./llama.cpp/llama-mtmd-cli \
    --model "$MODEL_FILE" --mmproj "$MMPROJ_FILE" \
    --ctx-size 4096 \
    --image /path/to/picture.jpg \
    --prompt "この画像を説明し、見えているテキストを抽出してください。"
```

{% endcode %}
{% endstep %}

{% step %}
**動画を実行**

マルチモーダルCLIを起動:

```bash
./llama.cpp/llama-mtmd-cli \
    --model "$MODEL_FILE" --mmproj "$MMPROJ_FILE" \
    --ctx-size 4096
```

次に、以下の行を **CLI内で**:

```
/video /path/to/video.mp4
動画を要約し、重要な出来事を説明してください。
```

最大2分までのMP4クリップに対応します。1080pでは最大1 FPS / 128フレーム、720pでは2 FPS / 256フレームまで使用できます。短いクリップから始め、必要に応じてコンテキストを増やしてください。
{% endstep %}
{% endstepper %}

### ベンチマーク

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FHf4Zgb51geMaxzCKvfaF%2Faccuracy.png?alt=media&amp;token=26ede764-8518-4867-8427-0e4171187747" alt=""><figcaption></figcaption></figure>


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://unsloth.ai/docs/jp/moderu/nemotron-3.5-bolt.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
