🧩NVIDIA Nemotron 3 Nano - Anleitung zur Ausführung

Führe NVIDIA Nemotron 3 Nano lokal auf deinem Gerät aus & feineinstelle es!

NVIDIA veröffentlicht Nemotron-3-Nano-4B, ein 4B offenes hybrides MoE-Modell, das auf Nemotron-3-Super-120B-A12B und Nemotron-3-Nano-30B-A3B folgt. Die Nemotron-Familie ist für schnelle, präzise Codierungs-, Mathematik- und agentische Workloads konzipiert. Sie verfügen über ein 1M-Token-Kontext Fenster und sind konkurrenzfähig bei Reasoning-, Chat- und Durchsatz-Benchmarks.

Nemotron-3-Nano-4B läuft auf 5GB RAM, VRAM oder Unified Memory. Nemotron-3-Nano-30A3B läuft auf 24GB RAM. Nemotron 3 kann jetzt lokal über feinabgestimmt werden via Unsloth. Danke an NVIDIA für die Day-Zero-Unterstützung von Unsloth.

Nemotron-3-Nano-4BNemotron-3-Nano-30B-A3BFeinabstimmung von Nemotron 3

Nemotron-3-Nano-4B-GGUF	Nemotron-3-Nano-30B-A3B-GGUF

⚙️ Gebrauchsanleitung

NVIDIA empfiehlt diese Einstellungen für Inferenz:

Allgemeiner Chat/Instruktion (Standard):

• temperature = 1.0

• top_p = 1.0

Tool-Calling-Anwendungsfälle:

• temperature = 0.6

• top_p = 0.95

Für die meisten lokalen Einsatzzwecke setzen Sie:

• max_new_tokens = 32,768 auf 262,144 für Standard-Prompts mit maximal 1M Tokens

• Erhöhen Sie dies für tiefes Reasoning oder Langform-Generierung, je nachdem, wie viel RAM/VRAM Sie haben.

Das Chat-Template-Format findet sich, wenn wir das Folgende verwenden:

tokenizer.apply_chat_template([
    {"role" : "user", "content" : "What is 1+1?"},
    {"role" : "assistant", "content" : "2"},
    {"role" : "user", "content" : "What is 2+2?"}
    ], add_generation_prompt = True, tokenize = False,
)

Da das Modell mit NoPE trainiert wurde, müssen Sie nur max_position_embeddingsändern. Das Modell verwendet keine expliziten positionalen Einbettungen, daher wird YaRN nicht benötigt.

Nemotron 3 Chat-Template-Format:

Nemotron 3 verwendet <think> mit Token-ID 12 und </think> mit Token-ID 13 für Reasoning. Verwenden Sie --special um die Tokens für llama.cpp zu sehen. Möglicherweise benötigen Sie auch --verbose-prompt um zu sehen <think> da es vorangestellt ist.

<|im_start|>system\n<|im_end|>\n<|im_start|>user\nWhat is 1+1?<|im_end|>\n<|im_start|>assistant\n<think></think>2<|im_end|>\n<|im_start|>user\nWhat is 2+2?<|im_end|>\n<|im_start|>assistant\n<think>\n

🖥️ Nemotron-3-Nano-4B ausführen

Je nach Anwendungsfall müssen Sie unterschiedliche Einstellungen verwenden. Einige GGUFs sind am Ende ähnlich groß, weil die Modellarchitektur (wie gpt-oss) Dimensionen hat, die nicht durch 128 teilbar sind, sodass Teile nicht auf niedrigere Bitbreiten quantisiert werden können.

Die 4-Bit-Versionen des Modells benötigen ~3GB RAM. 8-Bit benötigt 5GB.

Llama.cpp Tutorial (GGUF):

Anweisungen zum Ausführen in llama.cpp (wir verwenden 8-Bit für nahezu volle Präzision):

1

Holen Sie sich das neueste llama.cpp auf GitHub hier. Sie können auch den Build-Anweisungen unten folgen. Ändern Sie -DGGML_CUDA=ON auf -DGGML_CUDA=OFF wenn Sie keine GPU haben oder nur CPU-Inferenz wünschen.

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2

Sie können direkt von Hugging Face ziehen. Sie können den Kontext auf 1M erhöhen, je nachdem, wie viel RAM/VRAM Sie zur Verfügung haben.

Befolgen Sie dies für allgemeine Instruktions- Anwendungsfälle:

./llama.cpp/llama-cli \
    -hf unsloth/NVIDIA-Nemotron-3-Nano-4B-GGUF:Q8_0 \
    --ctx-size 16384 \
    --temp 1.0 --top-p 1.0

Befolgen Sie dies für Tool-Calling Anwendungsfälle:

./llama.cpp/llama-cli \
    -hf unsloth/NVIDIA-Nemotron-3-Nano-4B-GGUF:Q8_0 \
    --ctx-size 32768 \
    --temp 0.6 --top-p 0.95

3

Laden Sie das Modell herunter via (nach Installation von pip install huggingface_hub hf_transfer ). Sie können Q8_0 oder andere quantisierte Versionen wählen.

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/NVIDIA-Nemotron-3-Nano-4B-GGUF",
    local_dir = "unsloth/NVIDIA-Nemotron-3-Nano-4B-GGUF",
    allow_patterns = ["*Q8_0*"],
)

4

Dann führen Sie das Modell im Konversationsmodus aus:

./llama.cpp/llama-cli \
    --model unsloth/NVIDIA-Nemotron-3-Nano-4B-GGUF/NVIDIA-Nemotron-3-Nano-4B-Q8_0.gguf \
    --ctx-size 16384 \
    --seed 3407 \
    --prio 2 \
    --temp 0.6 \
    --top-p 0.95

Passen Sie außerdem das Kontextfenster nach Bedarf an. Stellen Sie sicher, dass Ihre Hardware mehr als ein 256K-Kontextfenster verarbeiten kann. Das Setzen auf 1M kann CUDA OOM auslösen und abstürzen, weshalb der Standard 262.144 ist.

🖥️ Nemotron-3-Nano-30B-A3B ausführen

Je nach Anwendungsfall müssen Sie unterschiedliche Einstellungen verwenden. Einige GGUFs sind am Ende ähnlich groß, weil die Modellarchitektur (wie gpt-oss) Dimensionen hat, die nicht durch 128 teilbar sind, sodass Teile nicht auf niedrigere Bitbreiten quantisiert werden können.

Die 4-Bit-Versionen des Modells benötigen ~24GB RAM. 8-Bit benötigt 36GB.

Llama.cpp Tutorial (GGUF):

Anweisungen zum Ausführen in llama.cpp (hinweis: wir werden 4-Bit verwenden, um auf die meisten Geräte zu passen):

1

Holen Sie sich das neueste llama.cpp auf GitHub hier. Sie können auch den Build-Anweisungen unten folgen. Ändern Sie -DGGML_CUDA=ON auf -DGGML_CUDA=OFF wenn Sie keine GPU haben oder nur CPU-Inferenz wünschen. Für Apple Mac / Metal-Geräte, setzen Sie -DGGML_CUDA=OFF und fahren dann wie gewohnt fort - Metal-Unterstützung ist standardmäßig aktiviert.

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2

Sie können direkt von Hugging Face ziehen. Sie können den Kontext auf 1M erhöhen, je nachdem, wie viel RAM/VRAM Sie zur Verfügung haben.

Befolgen Sie dies für allgemeine Instruktions- Anwendungsfälle:

./llama.cpp/llama-cli \
    -hf unsloth/Nemotron-3-Nano-30B-A3B-GGUF:UD-Q4_K_XL \
    --ctx-size 32768 \
    --temp 1.0 --top-p 1.0

Befolgen Sie dies für Tool-Calling Anwendungsfälle:

./llama.cpp/llama-cli \
    -hf unsloth/Nemotron-3-Nano-30B-A3B-GGUF:UD-Q4_K_XL \
    --ctx-size 32768 \
    --temp 0.6 --top-p 0.95

3

Laden Sie das Modell herunter via (nach Installation von pip install huggingface_hub hf_transfer ). Sie können UD-Q4_K_XL oder andere quantisierte Versionen wählen.

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Nemotron-3-Nano-30B-A3B-GGUF",
    local_dir = "unsloth/Nemotron-3-Nano-30B-A3B-GGUF",
    allow_patterns = ["*UD-Q4_K_XL*"],
)

4

Dann führen Sie das Modell im Konversationsmodus aus:

./llama.cpp/llama-cli \
    --model unsloth/Nemotron-3-Nano-30B-A3B-GGUF/Nemotron-3-Nano-30B-A3B-UD-Q4_K_XL.gguf \
    --ctx-size 16384 \
    --seed 3407 \
    --prio 2 \
    --temp 0.6 \
    --top-p 0.95

Passen Sie außerdem das Kontextfenster nach Bedarf an. Stellen Sie sicher, dass Ihre Hardware mehr als ein 256K-Kontextfenster verarbeiten kann. Das Setzen auf 1M kann CUDA OOM auslösen und abstürzen, weshalb der Standard 262.144 ist.

Nemotron 3 verwendet <think> mit Token-ID 12 und </think> mit Token-ID 13 für Reasoning. Verwenden Sie --special um die Tokens für llama.cpp zu sehen. Möglicherweise benötigen Sie auch --verbose-prompt um zu sehen <think> da es vorangestellt ist.

🦥 Feinabstimmung von Nemotron 3 und RL

Unsloth unterstützt jetzt die Feinabstimmung aller Nemotron-Modelle, einschließlich Nemotron 3 Super und Nano.

Das 4B-Modell passt auf eine kostenlose Colab-GPU, das 30B-Modell jedoch nicht. Wir haben trotzdem ein 80GB A100 Colab-Notebook für Sie erstellt, um damit zu feinabstimmen. 16-Bit LoRA-Feinabstimmung von Nemotron 3 Nano wird ungefähr 60GB VRAM:

• Nemotron-3-Nano-30B-A3B SFT LoRA-Notebook

Google Colabcolab.research.google.com

Zur Feinabstimmung von MoEs - es ist wahrscheinlich keine gute Idee, die Router-Schicht zu feinabstimmen, daher haben wir sie standardmäßig deaktiviert. Wenn Sie seine Reasoning-Fähigkeiten erhalten möchten (optional), können Sie eine Mischung aus direkten Antworten und Chain-of-Thought-Beispielen verwenden. Verwenden Sie mindestens 75% Reasoning und 25% Nicht-Reasoning in Ihrem Datensatz, damit das Modell seine Reasoning-Fähigkeiten behält.

✨Reinforcement Learning + NeMo Gym

Wir haben mit dem Open-Source NVIDIA NeMo Gym Team zusammengearbeitet, um die Demokratisierung von RL-Umgebungen zu ermöglichen. Unsere Zusammenarbeit ermöglicht Single-Turn-Rollout-RL-Training für viele Interessengebiete, einschließlich Mathematik, Codierung, Tool-Nutzung usw., unter Verwendung von Trainingsumgebungen und Datensätzen aus NeMo Gym:

NeMo Gym Sudoku Reinforcement Learning-Notebook

Google Colabcolab.research.google.com

NeMo Gym Multi Environments for Reinforcement Learning-Notebook

Google Colabcolab.research.google.com

Schauen Sie sich außerdem unseren neuesten Kollaborationsleitfaden an, der auf NVIDIAs offiziellem Entwickler-Blog veröffentlicht wurde:

Wie man ein LLM auf NVIDIA-GPUs mit Unsloth feinabstimmt

How to Fine-Tune an LLM on NVIDIA GPUs With UnslothNVIDIA Blog

🦙 Llama-server Bereitstellung & Deployment

Um Nemotron 3 für die Produktion bereitzustellen, verwenden wir llama-server Öffnen Sie in einem neuen Terminal, z. B. via tmux, und deployen Sie das Modell via:

./llama.cpp/llama-server \
    --model unsloth/Nemotron-3-Nano-30B-A3B-GGUF/Nemotron-3-Nano-30B-A3B-UD-Q4_K_XL.gguf \
    --alias "unsloth/Nemotron-3-Nano-30B-A3B" \
    --prio 3 \
    --min_p 0.01 \
    --temp 0.6 \
    --top-p 0.95 \
    --ctx-size 16384 \
    --port 8001

Wenn Sie das Obige ausführen, erhalten Sie:

Öffnen Sie dann in einem neuen Terminal, nachdem Sie pip install openai, Folgendes:

from openai import OpenAI
import json
openai_client = OpenAI(
    base_url = "http://127.0.0.1:8001/v1",
    api_key = "sk-no-key-required",
)
completion = openai_client.chat.completions.create(
    model = "unsloth/Nemotron-3-Nano-30B-A3B",
    messages = [{"role": "user", "content": "What is 2+2?"},],
)
print(completion.choices[0].message.content)

Was folgendes ausgeben wird

Der Benutzer stellt eine einfache Frage: "What is 2+2?" Die Antwort ist 4. Geben Sie die Antwort an.

2 + 2 = 4.

Benchmarks

Nemotron-3-Nano-4B ist das leistungsfähigste Modell in seiner Größenklasse, einschließlich Durchsatz.

Nemotron-3-Nano-30B-A3B ist das leistungsfähigste Modell über alle Benchmarks hinweg, einschließlich Durchsatz.