> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/jp/moderu/nemotron-3-nano-omni.md).

# NVIDIA Nemotron 3 Nano Omni - ローカルでの実行方法

NVIDIA Nemotron-3-Nano-Omni-30B-A3B は、動画、テキスト、画像、ドキュメントを入力とし、テキスト出力を行う、マルチモーダルなエージェント向けワークロードなどを含むために構築された、オープンな 300 億パラメータ、30 億アクティブのハイブリッド推論 MoE モデルです **音声**, **動画**、テキスト、画像、ドキュメントを入力とし、テキストを出力します。モデルは **25GB の RAM** では 4-bit、36GB では 8-bit で動作します。

を備えた **256K コンテキスト**で、Nemotron 3 Nano Omni は **最強のオムニ** モデルであり、そのサイズに対して最も高効率なオープンなマルチモーダルモデルです。初日サポートのために NVIDIA と協力しました！\
**GGUF:** [Nemotron-3-Nano-Omni-30B-A3B-Reasoning](https://huggingface.co/unsloth/Nemotron-3-Nano-30B-A3B-GGUF)

### ⚙️ 使用ガイド

NVIDIA は推論に次の設定を推奨しています：

{% columns %}
{% column %}
**思考モード:**

* `temperature = 0.6`
* `top_p = 0.95`
  {% endcolumn %}

{% column %}
**指示モード:**

* `temperature = 0.2`
  {% endcolumn %}
  {% endcolumns %}

### Nemotron-3-Nano-Omni を実行

ユースケースによっては、使用する必要があります [異なる設定を使用する必要があります](#usage-guide)。一部の GGUF は最終的にサイズが近くなります。というのも、モデルアーキテクチャ（たとえば [gpt-oss](/docs/jp/moderu/gpt-oss-how-to-run-and-fine-tune.md)）は 128 で割り切れない次元を持っているため、一部はより低いビットに量子化できないからです。 **GGUF:** [Nemotron-3-Nano-Omni-30B-A3B-Reasoning](https://huggingface.co/unsloth/Nemotron-3-Nano-30B-A3B-GGUF)

モデルの 4-bit 版には約 25GB の RAM が必要です。8-bit 版には 36GB が必要です。これらのガイドでは、 `UD-Q4-K-XL` を使用します。これはサイズと精度のバランスが良好です。

<a href="/pages/3b841dc831ba1d1cd9a579d65ec4951bca9c1e85#unsloth-studio-guide" class="button primary">Unsloth Studio で実行</a><a href="/pages/3b841dc831ba1d1cd9a579d65ec4951bca9c1e85#llama.cpp-tutorial" class="button secondary">llama.cpp で実行</a>

{% hint style="warning" %}
現在、マルチモーダル/ビジョンの GGUF は **Ollama** 別個の `mmproj` ビジョンファイルのため動作しません。llama.cpp 互換のバックエンドを使用してください。

使用しないでください **CUDA 13.2** そうしないと、意味不明な出力になる場合があります。NVIDIA が修正に取り組んでいます。
{% endhint %}

### 🦥 Unsloth Studioガイド

このチュートリアルでは、 [Unsloth Studio](/docs/jp/shii/studio.md)を使用します。これは LLM の実行と学習のための新しい Web UI です。Unsloth Studio では、モデルを実行し、 **音声**、画像とテキストをローカルで **Mac、Windows**、Linux 上で使用でき、次のことが可能です:

{% columns %}
{% column %}

* 検索、ダウンロード、 [GGUFの実行](/docs/jp/shii/studio.md#run-models-locally) およびsafetensorモデル
* **比較** モデルを **並べて**
* [**自己修復** ツール呼び出し](/docs/jp/shii/studio.md#execute-code--heal-tool-calling) + **ウェブ検索**
* [**コード実行**](/docs/jp/shii/studio.md#run-models-locally) （Python、Bash）
* [自動推論](https://unsloth.ai/docs/desktop#feature-deep-dive) パラメータ調整（temp、top-pなど）
* [LLMの学習](/docs/jp/shii/studio.md#no-code-training) VRAMを70%削減しつつ2倍高速
  {% endcolumn %}

{% column %}

<div data-with-frame="true"><figure><img src="/files/c32867f999db074387ac16732ce548485cc593de" alt=""><figcaption></figcaption></figure></div>
{% endcolumn %}
{% endcolumns %}

{% stepper %}
{% step %}

#### Unslothをインストール

**MacOS、Linux、WSL：**

```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```

**Windows PowerShell：**

```bash
irm https://unsloth.ai/install.ps1 | iex
```

{% endstep %}

{% step %}

#### Unsloth Studio のセットアップ（1回のみ）

セットアップにより、Node.js（nvm 経由）の自動インストール、フロントエンドのビルド、すべての Python 依存関係のインストール、CUDA サポート付きの llama.cpp のビルドが行われます。

{% hint style="info" %}
**WSL ユーザー向け:** 次の入力を求められます: `sudo` ビルド依存関係をインストールするためのパスワード（`cmake`, `git`, `libcurl4-openssl-dev`).
{% endhint %}
{% endstep %}

{% step %}

#### Unslothを起動

**MacOS、Linux、WSL：**

```bash
source unsloth_studio/bin/activate
unsloth studio -H 0.0.0.0 -p 8888
```

**Windows PowerShell:**

```bash
unsloth studio -H 0.0.0.0 -p 8888
```

<div data-with-frame="true"><figure><img src="/files/698ae7636b7c9b8a8122c6fbdabc1bd2273fdb2c" alt="" width="375"><figcaption></figcaption></figure></div>

次に開く `http://127.0.0.1:8888` をブラウザーで。
{% endstep %}

{% step %}

#### NVIDIA-Nemotron-3-Nano-30B-A3B-Omni を検索してダウンロード

初回起動時には、アカウントを保護するためのパスワードを作成し、後で再度サインインする必要があります。次に、 [Unsloth Chat](/docs/jp/shii/studio/chat.md) タブを開き、検索バーで Nemotron-3-Nano-Omni を検索して、希望するモデルと量子化版をダウンロードしてください。

<div data-with-frame="true"><figure><img src="/files/4c08a7090e3e8716d80637bf268c8530648c0065" alt="" width="375"><figcaption></figcaption></figure></div>
{% endstep %}

{% step %}

#### Nemotron-3-Nano-30B-A3B-Omni を実行

Unsloth Studioを使うと推論パラメータは自動設定されますが、手動でも変更できます。コンテキスト長、チャットテンプレート、その他の設定も編集できます。

詳細については、次を参照してください [Unsloth Studio推論ガイド](/docs/jp/shii/studio/chat.md).

<div data-with-frame="true"><figure><img src="/files/44d9105dd956eac31f9586bcf01055a289b0ef3e" alt="" width="563"><figcaption></figcaption></figure></div>
{% endstep %}
{% endstepper %}

### 🦙 Llama.cpp チュートリアル：

llama.cpp で実行する手順（ほとんどのデバイスに収まるよう4ビットを使用します）：

{% stepper %}
{% step %}
最新の `llama.cpp` こちら [GitHub はこちら](https://github.com/ggml-org/llama.cpp)。以下のビルド手順に従うこともできます。変更してください `-DGGML_CUDA=ON` を `-DGGML_CUDA=OFF` GPU がない場合、または CPU 推論のみを使用したい場合。 **Apple Mac / Metal デバイスの場合**、次を設定し `-DGGML_CUDA=OFF` その後は通常どおり続行してください。Metal サポートはデフォルトで有効です。

{% code overflow="wrap" %}

```bash
apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp
```

{% endcode %}
{% endstep %}

{% step %}
**まず画像を取得しましょう！** 画像をアップロードすることもできます。ここでは <https://raw.githubusercontent.com/unslothai/unsloth/refs/heads/main/images/unsloth%20made%20with%20love.png>を使用します。これは、Unslothでファインチューニングがどのように作られているかを示す、私たちのミニロゴです:

{% code overflow="wrap" %}

```bash
wget https://raw.githubusercontent.com/unslothai/unsloth/refs/heads/main/images/unsloth%20made%20with%20love.png -O unsloth.png
```

{% endcode %}

<figure><img src="/files/8ae02fb49d0894924cd953777ab38bc4d56ba3f8" alt="" width="188"><figcaption></figcaption></figure>

2枚目の画像は <https://files.worldwildlife.org/wwfcmsprod/images/Sloth_Sitting_iStock_3_12_2014/story_full_width/8l7pbjmj29_iStock_000011145477Large_mini__1_.jpg>

{% code overflow="wrap" %}

```bash
wget https://files.worldwildlife.org/wwfcmsprod/images/Sloth_Sitting_iStock_3_12_2014/story_full_width/8l7pbjmj29_iStock_000011145477Large_mini__1_.jpg -O picture.png
```

{% endcode %}

<figure><img src="/files/5e1b9352de623a1d57f735cf6be692f421bca972" alt="" width="188"><figcaption></figcaption></figure>
{% endstep %}

{% step %}
それでは、モデルを手動でダウンロードしましょう。以下のコードで実行できます（事前に pip install huggingface\_hub をインストールしてください）。ダウンロードが止まる場合は、こちらを参照してください: [Hugging Face Hub、XETデバッグ](/docs/jp/ji-ben/troubleshooting-and-faqs/hugging-face-hub-xet-debugging.md)

{% code overflow="wrap" %}

```bash
pip install huggingface_hub
hf download unsloth/NVIDIA-Nemotron-3-Nano-Omni-30B-A3B-Reasoning-GGUF \\
    --local-dir unsloth/NVIDIA-Nemotron-3-Nano-Omni-30B-A3B-Reasoning-GGUF \\
    --include "*mmproj-BF16*" \\
    --include "*UD-Q4_K_XL*" # Dynamic 2ビットの場合は "*UD-Q2_K_XL*" を使用
```

{% endcode %}
{% endstep %}

{% step %}
それでは、会話モードでモデルを実行します:

{% code overflow="wrap" %}

```bash
./llama.cpp/llama-cli \
    --model unsloth/NVIDIA-Nemotron-3-Nano-Omni-30B-A3B-Reasoning-GGUF/NVIDIA-Nemotron-3-Nano-Omni-30B-A3B-Reasoning-UD-Q4_K_XL.gguf \\
    --mmproj unsloth/NVIDIA-Nemotron-3-Nano-Omni-30B-A3B-Reasoning-GGUF/mmproj-BF16.gguf \\
    --temp 0.6 \\
    --top-p 0.95 \\
    --min-p 0.01
```

{% endcode %}
{% endstep %}

{% step %}
すると、以下のようになります：

<figure><img src="/files/c6326c43615d19797e9f95e09f26acf5f32b9617" alt="" width="563"><figcaption></figcaption></figure>
{% endstep %}

{% step %}
次に `/image` を使って両方の画像を読み込み、「この画像は何ですか」と尋ねます:

<figure><img src="/files/e23b641efe1d2e90774946c0e52bb9bd3e216454" alt="" width="563"><figcaption></figcaption></figure>

<figure><img src="/files/59b1a66e0eb1db1bd89f49eed88119c005c0406b" alt="" width="563"><figcaption></figcaption></figure>
{% endstep %}

{% step %}
そして、ナマケモノの画像では：

<figure><img src="/files/deff21c3ed033166ab730c0260fb17608457a8de" alt="" width="563"><figcaption></figcaption></figure>
{% endstep %}
{% endstepper %}

#### Llama-server による提供とデプロイ

Nemotron 3 Nano Omni をローカルでデプロイするには、 `llama-server`を使用します。新しいターミナルで、たとえば `tmux`経由で、モデルをデプロイします：

```bash
./llama.cpp/llama-server \\
    -hf unsloth/NVIDIA-Nemotron-3-Nano-Omni-30B-A3B-Reasoning-GGUF:UD-Q4_K_XL \\
    --alias "unsloth/NVIDIA-Nemotron-3-Nano-Omni-30B-A3B-Reasoning" \\
    --prio 3 \\
    --temp 0.6 \\
    --top-p 0.95 \\
    --port 8001
```

モデルを手動でダウンロードした場合は、次を使用します：

{% code overflow="wrap" %}

```bash
./llama.cpp/llama-server \\
    --model unsloth/NVIDIA-Nemotron-3-Nano-Omni-30B-A3B-Reasoning-GGUF/NVIDIA-Nemotron-3-Nano-Omni-30B-A3B-Reasoning-UD-Q4_K_XL.gguf \\
    --mmproj unsloth/NVIDIA-Nemotron-3-Nano-Omni-30B-A3B-Reasoning-GGUF/mmproj-BF16.gguf \\
    --alias "unsloth/NVIDIA-Nemotron-3-Nano-Omni-30B-A3B-Reasoning" \\
    --prio 3 \\
    --temp 0.6 \\
    --top-p 0.95 \\
    --port 8001
```

{% endcode %}

次に、新しいターミナルで、OpenAI クライアントを以下でインストールした後、 `pip install openai`:

```python
from openai import OpenAI
openai_client = OpenAI(
    base_url = "http://127.0.0.1:8001/v1",
    api_key = "sk-no-key-required",
)
completion = openai_client.chat.completions.create(
    model = "unsloth/NVIDIA-Nemotron-3-Nano-Omni-30B-A3B-Reasoning",
    messages = [
        {"role": "user", "content": "What is 2+2?"},
    ],
)
print(completion.choices[0].message.reasoning_content)
print(completion.choices[0].message.content)
```

次のような表示になります：

<figure><img src="/files/3f843d059d8d45017838c2519479a77c4a37fdcd" alt="" width="563"><figcaption></figcaption></figure>

#### OpenAI互換サーバー経由の画像入力

次を使いましょう `picture.png` これは [#llama.cpp-tutorial](#llama.cpp-tutorial "mention")

{% code expandable="true" %}

```python
from openai import OpenAI
import base64
import mimetypes
image_link = "picture.png"

def file_to_data_url(path: str) -> str:
    mime = mimetypes.guess_type(path)[0] or "application/octet-stream"
    with open(path, "rb") as f:
        data = base64.b64encode(f.read()).decode("utf-8")
    return f"data:{mime};base64,{data}"

openai_client = OpenAI(
    base_url = "http://127.0.0.1:8001/v1",
    api_key = "sk-no-key-required",
)

completion = openai_client.chat.completions.create(
    model = "unsloth/NVIDIA-Nemotron-3-Nano-Omni-30B-A3B-Reasoning",
    messages = [ {
        "role": "user",
        "content": [
            { "type": "text", "text": "この画像は何ですか？", },
            {
                "type": "image_url",
                "image_url": { "url": file_to_data_url(image_link), },
            },
        ],
    } ],
)
print(completion.choices[0].message.reasoning_content)
print(completion.choices[0].message.content)
```

{% endcode %}

すると、以下のようになります：

<figure><img src="/files/7ede0bf5b405beb74bb47c9a87c7cc8df4151ba3" alt=""><figcaption></figcaption></figure>

### 🦥 Nemotron 3 Nano Omni のファインチューニング

Unsloth は [Nemotron](/docs/jp/moderu/nemotron-3.md) モデルファミリー全体をサポートしています。Nemotron 3 Nano Omni はマルチモーダルなエージェントデータセットに有用です。Unsloth を使って音声、視覚、またはテキストで学習できます。 **動画入力** のファインチューニングは現在サポートされていません。

テキストのみおよびノートブックの場合、既存の [Nemotron 3 Nano のファインチューニングフロー](/docs/jp/moderu/nemotron-3.md#fine-tuning-nemotron-3-and-rl)から始められます。マルチモーダルアダプターの場合は、データセットに実際にエージェントが必要とするモダリティを含めてください：

* **コンピューター操作:** スクリーンショット、UI 状態、カーソル／コンテキスト、次の期待アクション
* **文書インテリジェンス:** PDF、スクリーンショット、チャート、表、構造化抽出の対象
* **音声理解:** 音声クリップ、サンプリングしたフレーム、要約、タイムスタンプ、イベント、およびフォローアップの質問
* **エージェントループ:** 観察 → 推論 → 行動 → 検証の例

Omni では、テキストのみの VRAM 数値をそのまま流用しないでください。マルチモーダルエンコーダー、プロジェクターの重み、画像トークン、音声チャンク、長いコンテキストはすべてメモリ使用量を増やします。まずは短いコンテキストと小さなバッチサイズから始め、その後スケールアップしてください。

### ベンチマーク

Nemotron 3 Nano Omni は、そのサイズにおける最強のオムニモデルです。また、先頭クラスの精度を備えた、最も高効率なオープンなマルチモーダルモデルでもあります。このモデルは、あらゆるベンチマークで Qwen3-Omni-30B-A3B を上回ります。

<div data-with-frame="true"><figure><img src="/files/c3056bb505f6d610abf9868398d14334653e12fa" alt="" width="563"><figcaption></figcaption></figure></div>


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:

```
GET https://unsloth.ai/docs/jp/moderu/nemotron-3-nano-omni.md?ask=<question>&goal=<endgoal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.