🧩NVIDIA Nemotron-3-Super: Anleitung zum Ausführen

Führe & feintune NVIDIA Nemotron-3-Super-120B-A12B lokal auf deinem Gerät!

NVIDIA veröffentlicht Nemotron-3-Super-120B-A12B, ein 120B offenes hybrides Reasoning-MoE-Modell mit 12B aktiven Parametern, nach dem früheren Start von Nemotron-3-Nano, seinem 30B-Pendant. Nemotron-3-Super ist für hohe Effizienz und Genauigkeit bei Multi-Agent-AI konzipiert. Mit einem 1M-Token Kontextfenster führt es seine Größenklasse bei den AIME 2025-, Terminal Bench- und SWE-Bench Verified-Benchmarks an und erreicht gleichzeitig den höchsten Durchsatz.

Nemotron-3-Super läuft auf einem Gerät mit 64GB RAM, VRAM oder Unified Memory und kann jetzt lokal feinabgestimmt werden. Danke an NVIDIA für die Bereitstellung von Day-One-Unterstützung für Unsloth.

Nemotron 3 SuperNemotron 3 Nano

GGUF: NVIDIA-Nemotron-3-Super-120B-A12B-GGUF

⚙️ Gebrauchsanleitung

NVIDIA empfiehlt diese Einstellungen für Inferenz:

Allgemeiner Chat/Anweisung (Standard):

• temperature = 1.0

• top_p = 1.0

Anwendungsfälle für Tool-Aufrufe:

• temperature = 0.6

• top_p = 0.95

Für den meisten lokalen Gebrauch setze:

• max_new_tokens = 32,768 auf 262,144 für Standard-Prompts mit maximal 1M Tokens

• Erhöhe es für tiefes Reasoning oder Langform-Generierung, je nachdem wie viel RAM/VRAM du hast.

Das Chat-Template-Format findet sich, wenn wir Folgendes verwenden:

tokenizer.apply_chat_template([
    {"role" : "user", "content" : "What is 1+1?"},
    {"role" : "assistant", "content" : "2"},
    {"role" : "user", "content" : "What is 2+2?"}
    ], add_generation_prompt = True, tokenize = False,
)

Weil das Modell mit NoPE trainiert wurde, musst du nur max_position_embeddingsändern. Das Modell verwendet keine expliziten Positions-Embeddings, daher ist YaRN nicht erforderlich.

Nemotron 3 Chat-Template-Format:

Nemotron 3 verwendet <think> mit Token-ID 12 und </think> mit Token-ID 13 für Reasoning. Verwende --special um die Tokens für llama.cpp zu sehen. Möglicherweise benötigst du auch --verbose-prompt um <think> zu sehen, da es vorangestellt ist.

<|im_start|>system\n<|im_end|>\n<|im_start|>user\nWhat is 1+1?<|im_end|>\n<|im_start|>assistant\n<think></think>2<|im_end|>\n<|im_start|>user\nWhat is 2+2?<|im_end|>\n<|im_start|>assistant\n<think>\n

🖥️ Nemotron-3-Super-120B-A12B ausführen

Abhängig von deinem Anwendungsfall benötigst du unterschiedliche Einstellungen. Einige GGUFs ähneln sich in der Größe, weil die Modellarchitektur (wie gpt-oss) Dimensionen hat, die nicht durch 128 teilbar sind, sodass Teile nicht auf niedrigere Bitbreiten quantisiert werden können. Greife auf GGUFs zu hier.

Die 4-Bit-Versionen des Modells benötigen ~64GB RAM - 72GB RAM. 8-Bit benötigt 128GB.

Llama.cpp Tutorial (GGUF):

Anweisungen zum Ausführen in llama.cpp (beachte, dass wir 4-Bit verwenden, um auf die meisten Geräte zu passen):

1

Hole dir das neueste llama.cpp auf GitHub hier. Du kannst auch den untenstehenden Build-Anweisungen folgen. Ändere -DGGML_CUDA=ON auf -DGGML_CUDA=OFF wenn du keine GPU hast oder nur CPU-Inferenz möchtest.

Wir müssen Unsloths llama.cpp-Branch für Nemotron-3-Super installieren! Das ist für LM Studio nicht notwendig, da es mit einem Update funktionieren wird.

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/unslothai/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

2

Du kannst direkt von Hugging Face ziehen. Du kannst den Kontext auf 1M erhöhen, je nachdem wie viel RAM/VRAM du hast.

Befolge dies für allgemeine Anweisungs- Anwendungsfälle:

./llama.cpp/llama-cli \
    -hf unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-GGUF:UD-Q3_K_XL \
    --ctx-size 16384 \
    --temp 1.0 --top-p 1.0

Befolge dies für Tool-Aufrufe Anwendungsfälle:

./llama.cpp/llama-cli \
    -hf unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-GGUF:UD-Q3_K_XL \
    --ctx-size 32768 \
    --temp 0.6 --top-p 0.95

3

Lade das Modell herunter via (nach Installation von pip install huggingface_hub hf_transfer ). Du kannst Q4_K_M oder andere quantisierte Versionen wie UD-Q4_K_XL wählen. Wir empfehlen, mindestens dynamische 2-Bit-Quantisierung zu verwenden UD-Q2_K_XL um Größe und Genauigkeit auszubalancieren. Wenn Downloads hängen bleiben, siehe: Hugging Face Hub, XET-Debugging

hf download unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-GGUF \
    --local-dir unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-GGUF \
    --include "*UD-Q3_K_XL*" # Verwende "*UD-Q2_K_XL*" für dynamisches 2-Bit

4

Dann starte das Modell im Konversationsmodus:

/llama.cpp/llama-cli \
    --model unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-GGUF/UD-Q3_K_XL/NVIDIA-Nemotron-3-Super-120B-A12B-UD-Q3_K_XL-00001-of-00003.gguf \
    --ctx-size 16384 \
    --seed 3407 \
    --prio 2 \
    --temp 0.6 \
    --top-p 0.95

Passe außerdem das Kontextfenster nach Bedarf an. Stelle sicher, dass deine Hardware mehr als ein 256K-Kontextfenster verarbeiten kann. Das Setzen auf 1M kann CUDA OOM auslösen und abstürzen, weshalb der Standard 262.144 ist.

🦥 Feinabstimmung von Nemotron 3 und RL

Unsloth unterstützt jetzt die Feinabstimmung aller Nemotron-Modelle, einschließlich Nemotron 3 Super und Nano. Für Notebook-Beispiele von Nano siehe unseren Nemotron 3 Nano Fine-Tuning Guide.

Nemotron 3 Super

• Router-Layer-Feinabstimmung ist aus Stabilitätsgründen standardmäßig deaktiviert.

• Nemotron-3-Super-120B - bf16 LoRA funktioniert auf 256GB VRAM. Wenn du mehrere GPUs verwendest, füge hinzu device_map = "balanced" oder folge unserem MultiGPU-Guide.

🦙Llama-server Bereitstellung & Deployment

Um Nemotron 3 in Produktion bereitzustellen, verwenden wir llama-server In einem neuen Terminal, z. B. via tmux, deploye das Modell via:

./llama.cpp/llama-server \
    --model unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-GGUF/UD-Q3_K_XL/NVIDIA-Nemotron-3-Super-120B-A12B-UD-Q3_K_XL-00001-of-00003.gguf \
    --alias "unsloth/NVIDIA-Nemotron-3-Super-120B-A12B" \
    --prio 3 \
    --min_p 0.01 \
    --temp 0.6 \
    --top-p 0.95 \
    --ctx-size 16384 \
    --port 8001

Wenn du das Obige ausführst, erhältst du:

Dann in einem neuen Terminal, nachdem du pip install openaiausgeführt hast, mache:

from openai import OpenAI
import json
openai_client = OpenAI(
    base_url = "http://127.0.0.1:8001/v1",
    api_key = "sk-no-key-required",
)
completion = openai_client.chat.completions.create(
    model = "unsloth/NVIDIA-Nemotron-3-Super-120B-A12B",
    messages = [{"role": "user", "content": "What is 2+2?"},],
)
print(completion.choices[0].message.reasoning_content)
print(completion.choices[0].message.content)

Was folgendes ausgeben wird:

Okay, der Nutzer fragte „What is 2+2?“ Das scheint eine sehr einfache arithmetische Frage zu sein.

Hm, vielleicht prüfen sie, ob ich aufmerksam bin, oder vielleicht sind sie ein kleines Kind, das Mathe lernt. Es könnte auch jemand sein, der testen will, ob ich eine einfache Frage überkompliziere.

Ich sollte es einfach halten, da kein Hinweis auf eine Irreführung in der Anfrage vorliegt. Die Antwort ist definitiv 4 – kein Grund, einfache Addition zu hinterfragen.

Obwohl ein Teil von mir sich fragt, ob sie einen Witz vorbereiten (wie „2+2=5 für große Werte von 2“), und da sie keinen Kontext angegeben haben, gehe ich von einer echten Anfrage aus.

Besser klar und freundlich antworten – das könnte sie ermutigen, mehr Fragen zu stellen, wenn sie lernen. Kein unnötiger Ballast; einfach die Tatsache hilfreich darlegen.

2 + 2 ergibt **4**.

Dies ist eine grundlegende arithmetische Tatsache in der Basis-10 (Dezimal-)Notation. Wenn du in einem anderen Kontext fragst (wie modulare Arithmetik, Binärsystem oder als Witz/Referenz), kläre das gern – ich passe mich gerne an! 😊

Benchmarks

Im Vergleich zu ähnlich großen Modellen ist Nemotron 3 Super wettbewerbsfähig und bietet gleichzeitig den höchsten Durchsatz.