🧩NVIDIA Nemotron 3 Nano - Anleitung zum Ausführen

Führe & finetune NVIDIA Nemotron 3 Nano lokal auf deinem Gerät!

NVIDIA veröffentlicht Nemotron 3 Nano, ein 30B-Parameter-Hybrid-Reasoning-MoE-Modell mit ~3,6B aktiven Parametern - entwickelt für schnelles, genaues Programmieren, Mathematik und agentische Aufgaben. Es hat ein 1M Kontextfenster und ist innerhalb seiner Größenklasse am besten bei SWE-Bench, GPQA Diamond, Reasoning, Chat und Durchsatz.

Nemotron 3 Nano läuft auf 24GB RAM/VRAM (oder Unified Memory) und Sie können es jetzt feinabstimmen lokal. Danke an NVIDIA für die Bereitstellung von Day-Zero-Support für Unsloth.

Ausführungs-TutorialFeinabstimmung Nano 3

NVIDIA Nemotron 3 Nano GGUF zum Ausführen: unsloth/Nemotron-3-Nano-30B-A3B-GGUF Wir haben außerdem hochgeladen BF16 und FP8 Varianten.

⚙️ Gebrauchsanleitung

NVIDIA empfiehlt diese Einstellungen für Inferenz:

Allgemeiner Chat/Anweisung (Standard):

• temperature = 1.0

• top_p = 1.0

Anwendungsfälle mit Tool-Aufrufen:

• temperature = 0.6

• top_p = 0.95

Für die meisten lokalen Anwendungen, setzen Sie:

• max_new_tokens = 32,768 auf 262,144 für Standard-Prompts mit maximal 1M Tokens

• Erhöhen Sie es für tiefes Reasoning oder Langform-Generierung, je nach verfügbarer RAM/VRAM.

Das Chat-Template-Format ergibt sich, wenn wir das Folgende verwenden:

tokenizer.apply_chat_template([
    {"role" : "user", "content" : "What is 1+1?"},
    {"role" : "assistant", "content" : "2"},
    {"role" : "user", "content" : "What is 2+2?"}
    ], add_generation_prompt = True, tokenize = False,
)

Da das Modell mit NoPE trainiert wurde, müssen Sie nur max_position_embeddingsändern. Das Modell verwendet keine expliziten Positions-Embedding, daher ist YaRN nicht erforderlich.

Nemotron 3 Chat-Template-Format:

Nemotron 3 verwendet <think> mit Token-ID 12 und </think> mit Token-ID 13 für Reasoning. Verwenden Sie --special um die Tokens für llama.cpp zu sehen. Möglicherweise benötigen Sie auch --verbose-prompt um <think> zu sehen, da es vorangestellt ist.

<|im_start|>system\n<|im_end|>\n<|im_start|>user\nWhat is 1+1?<|im_end|>\n<|im_start|>assistant\n<think></think>2<|im_end|>\n<|im_start|>user\nWhat is 2+2?<|im_end|>\n<|im_start|>assistant\n<think>\n

🖥️ Nemotron-3-Nano-30B-A3B ausführen

Je nach Anwendungsfall müssen Sie unterschiedliche Einstellungen verwenden. Einige GGUFs sind in der Größe ähnlich, weil die Modellarchitektur (wie gpt-oss) Dimensionen hat, die nicht durch 128 teilbar sind, sodass Teile nicht auf niedrigere Bits quantisiert werden können.

Die 4-Bit-Versionen des Modells benötigen ~24GB RAM. 8-Bit benötigt 36GB.

Llama.cpp Tutorial (GGUF):

Anweisungen zum Ausführen in llama.cpp (wir verwenden 4-Bit, um auf die meisten Geräte zu passen):

1

Holen Sie sich das neueste llama.cpp auf GitHub hier. Sie können auch den untenstehenden Build-Anweisungen folgen. Ändern Sie -DGGML_CUDA=ON auf -DGGML_CUDA=OFF wenn Sie keine GPU haben oder nur CPU-Inferenz wünschen. Für Apple Mac / Metal-Geräte, setzen Sie -DGGML_CUDA=OFF und fahren dann wie gewohnt fort - Metal-Unterstützung ist standardmäßig aktiviert.

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2

Sie können direkt von Hugging Face ziehen. Sie können den Kontext auf 1M erhöhen, je nachdem wie viel RAM/VRAM Sie haben.

Befolgen Sie dies für allgemeine Anweisungs- Anwendungsfälle:

./llama.cpp/llama-cli \
    -hf unsloth/Nemotron-3-Nano-30B-A3B-GGUF:UD-Q4_K_XL \
    --ctx-size 32768 \
    --temp 1.0 --top-p 1.0

Befolgen Sie dies für Tool-Aufrufe Anwendungsfälle:

./llama.cpp/llama-cli \
    -hf unsloth/Nemotron-3-Nano-30B-A3B-GGUF:UD-Q4_K_XL \
    --ctx-size 32768 \
    --temp 0.6 --top-p 0.95

3

Laden Sie das Modell herunter via (nach Installation von pip install huggingface_hub hf_transfer ). Sie können wählen UD-Q4_K_XL oder andere quantisierte Versionen.

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Nemotron-3-Nano-30B-A3B-GGUF",
    local_dir = "unsloth/Nemotron-3-Nano-30B-A3B-GGUF",
    allow_patterns = ["*UD-Q4_K_XL*"],
)

4

Dann führen Sie das Modell im Konversationsmodus aus:

./llama.cpp/llama-cli \
    --model unsloth/Nemotron-3-Nano-30B-A3B-GGUF/Nemotron-3-Nano-30B-A3B-UD-Q4_K_XL.gguf \
    --ctx-size 16384 \
    --seed 3407 \
    --prio 2 \
    --temp 0.6 \
    --top-p 0.95

Passen Sie außerdem Kontextfenster nach Bedarf an. Stellen Sie sicher, dass Ihre Hardware mehr als ein 256K-Kontextfenster verarbeiten kann. Das Setzen auf 1M kann CUDA OOM auslösen und zum Absturz führen, weshalb der Standard 262.144 ist.

Nemotron 3 verwendet <think> mit Token-ID 12 und </think> mit Token-ID 13 für Reasoning. Verwenden Sie --special um die Tokens für llama.cpp zu sehen. Möglicherweise benötigen Sie auch --verbose-prompt um <think> zu sehen, da es vorangestellt ist.

Da das Modell mit NoPEtrainiert wurde, müssen Sie nur max_position_embeddingsändern. Das Modell verwendet keine expliziten Positions-Embeddings, daher ist YaRN nicht erforderlich.

🦥 Feinabstimmung von Nemotron 3 Nano und RL

Unsloth unterstützt jetzt die Feinabstimmung aller Nemotron-Modelle, einschließlich Nemotron 3 Nano. Das 30B-Modell passt nicht auf eine kostenlose Colab-GPU; wir haben jedoch trotzdem ein 80GB A100 Colab-Notebook erstellt, damit Sie feinabstimmen können. 16-Bit LoRA-Feinabstimmung von Nemotron 3 Nano benötigt etwa 60GB VRAM:

• Nemotron-3-Nano-30B-A3B SFT LoRA-Notebook

Google Colabcolab.research.google.com

Bei der Feinabstimmung von MoEs - es ist wahrscheinlich keine gute Idee, die Router-Schicht zu feinabstimmen, daher haben wir sie standardmäßig deaktiviert. Wenn Sie seine Reasoning-Fähigkeiten beibehalten möchten (optional), können Sie eine Mischung aus direkten Antworten und Chain-of-Thought-Beispielen verwenden. Verwenden Sie mindestens 75% Reasoning und 25% Nicht-Reasoning in Ihrem Datensatz, damit das Modell seine Reasoning-Fähigkeiten beibehält.

✨Reinforcement Learning + NeMo Gym

Wir haben mit dem Open-Source NVIDIA NeMo Gym Team zusammengearbeitet, um die Demokratisierung von RL-Umgebungen zu ermöglichen. Unsere Zusammenarbeit ermöglicht Single-Turn-Rollout-RL-Training für viele interessante Bereiche, einschließlich Mathematik, Programmierung, Tool-Nutzung usw., unter Verwendung von Trainingsumgebungen und Datensätzen aus NeMo Gym:

• NeMo Gym Sudoku Reinforcement Learning Notebook

Google Colabcolab.research.google.com

• NeMo Gym Multi-Environments für Reinforcement Learning Notebook

Google Colabcolab.research.google.com

Sehen Sie sich auch unseren neuesten Leitfaden an, der auf NVIDIAs offiziellem Entwickler-Blog veröffentlicht wurde:

Wie man ein LLM auf NVIDIA-GPUs mit Unsloth feinabstimmt

How to Fine-Tune an LLM on NVIDIA GPUs With UnslothNVIDIA Blog

🎉Llama-server Bereitstellung & Deployment

Um Nemotron 3 in Produktion zu bringen, verwenden wir llama-server In einem neuen Terminal, z. B. via tmux, deployen Sie das Modell mit:

./llama.cpp/llama-server \
    --model unsloth/Nemotron-3-Nano-30B-A3B-GGUF/Nemotron-3-Nano-30B-A3B-UD-Q4_K_XL.gguf \
    --alias "unsloth/Nemotron-3-Nano-30B-A3B" \
    --prio 3 \
    --min_p 0.01 \
    --temp 0.6 \
    --top-p 0.95 \
    --ctx-size 16384 \
    --port 8001

Wenn Sie das Obige ausführen, erhalten Sie:

Dann in einem neuen Terminal, nachdem Sie pip install openai, tun Sie:

from openai import OpenAI
import json
openai_client = OpenAI(
    base_url = "http://127.0.0.1:8001/v1",
    api_key = "sk-no-key-required",
)
completion = openai_client.chat.completions.create(
    model = "unsloth/Nemotron-3-Nano-30B-A3B",
    messages = [{"role": "user", "content": "What is 2+2?"},],
)
print(completion.choices[0].message.content)

Was Folgendes ausgeben wird

Der Benutzer stellt eine einfache Frage: "What is 2+2?" Die Antwort ist 4. Geben Sie die Antwort aus.

2 + 2 = 4.

Benchmarks

Nemotron-3-Nano-30B-A3B ist das leistungsstärkste Modell über alle Benchmarks hinweg, einschließlich Durchsatz.