> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/modelle/nemotron-3-ultra.md). # NVIDIA Nemotron 3 Ultra - So wird es lokal ausgeführt NVIDIA Nemotron 3 Ultra ist ein offenes **550 Mrd. Parameter, 55 Mrd. aktive** Spitzen-Reasoning-Modell und ist NVIDIAs **größtes Modell** bisher veröffentlicht. Nemotron-3-Ultra-550B-A55B ist für langlaufende autonome Agenten und Reasoning über Coding- und Deep-Research-Workflows hinweg ausgelegt. Es ist das **stärkstes westliches Open-Source-Modell**, und verwendet die neue Open Model, Weights & Data License. Mit bis zu **1M-Kontext**, verwendet Nemotron 3 Ultra eine Hybrid-Transformer-Mamba-MoE-Architektur und kann über längere Sitzungen hinweg den langen Agentenstatus, Protokolle und Pläne beibehalten. GGUFs liegen bei [Nemotron-3-Ultra-550B-A55B](https://huggingface.co/unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B-GGUF) mit dynamischem 1-Bit und belegt 189 GB Speicherplatz. Es wurde außerdem mit NVFP4 vortrainiert. Wir haben auch [GGUF-KLD-Benchmarks](#kld-benchmarks). ### ⚙️ Gebrauchsanleitung NVIDIA empfiehlt diese Einstellungen für die Inferenz: * `temperature = 1.0` * `top_p = 0.95` | Details | Nemotron 3 Ultra | | ------------ | ------------------------------------------------------------------------------------------------------------------ | | Modellgröße | 550 Mrd. Gesamtparameter / 55 Mrd. aktive Parameter | | Kontextlänge | Bis zu 1 Mio. Token | | Architektur | Hybrid Transformer-Mamba MoE mit Latent MoE, Multi-Token Prediction (MTP wird derzeit für GGUFs nicht unterstützt) | | Modell-E/A | Texteingabe, Textausgabe | Die Chat-Vorlage sieht wie folgt aus: {% code overflow="wrap" %} ``` <|im_start|>system\n<|im_end|>\n<|im_start|>user\nWas ist 1+1?<|im_end|>\n<|im_start|>assistant\n2<|im_end|>\n<|im_start|>assistant\n\n ``` {% endcode %} ### Nemotron-3-Ultra ausführen Die 3-Bit-Versionen des Modells benötigen \~256 GB RAM, 4-Bit benötigt \~300 GB und 8-Bit benötigt 600 GB. Für diese Anleitungen verwenden wir 3-Bit `UD-IQ3_XXS` was auf ein 256-GB-Gerät passt und ein gutes Gleichgewicht zwischen Größe und Genauigkeit bietet. Je nach Anwendungsfall müssen Sie [unterschiedliche Einstellungen](#usage-guide). **GGUF:** [Nemotron-3-Ultra-550B-A55B](https://huggingface.co/unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B-GGUF) In Unsloth Studio ausführenIn llama.cpp ausführen ### 🦥 Unsloth-Studio-Anleitung Für dieses Tutorial verwenden wir [Unsloth Studio](/docs/de/neu/studio.md), das ist unsere UI zum Ausführen und Trainieren von LLMs. Mit Unsloth Studio können Sie Modelle ausführen und Bild- und Texteingaben lokal auf **Mac, Windows**, und Linux verwenden und: {% columns %} {% column %} * Suchen, herunterladen, [GGUFs ausführen](/docs/de/neu/studio.md#run-models-locally) und Safetensor-Modelle * **Vergleichen** Modelle **nebeneinander** * [**Selbstheilendes** Tool-Calling](/docs/de/neu/studio.md#execute-code--heal-tool-calling) + **Websuche** * [**Codeausführung**](/docs/de/neu/studio.md#run-models-locally) (Python, Bash) * [Automatische Inferenz](/docs/de/neu/studio.md#model-arena) Parameterabstimmung (temp, top-p usw.) * [LLMs trainieren](/docs/de/neu/studio.md#no-code-training) 2x schneller mit 70 % weniger VRAM {% endcolumn %} {% column %}
{% endcolumn %} {% endcolumns %} {% stepper %} {% step %} #### Unsloth installieren **macOS, Linux, WSL:** ```bash curl -fsSL https://unsloth.ai/install.sh | sh ``` **Windows PowerShell:** ```bash irm https://unsloth.ai/install.ps1 | iex ``` {% endstep %} {% step %} #### Unsloth Studio einrichten (einmalig) Das Setup installiert automatisch Node.js (über nvm), baut das Frontend, installiert alle Python-Abhängigkeiten und kompiliert llama.cpp mit CUDA-Unterstützung. {% hint style="info" %} **WSL-Benutzer:** du wirst nach deinem `sudo` Passwort gefragt, um Build-Abhängigkeiten zu installieren (`cmake`, `git`, `libcurl4-openssl-dev`). {% endhint %} {% endstep %} {% step %} #### Unsloth starten **macOS, Linux, WSL:** ```bash source unsloth_studio/bin/activate unsloth studio -H 0.0.0.0 -p 8888 ``` **Windows PowerShell:** ```bash unsloth studio ```
Dann öffnen Sie `http://127.0.0.1:8888` in deinem Browser. {% endstep %} {% step %} #### Nemotron-3-Ultra suchen und herunterladen Beim ersten Start müssen Sie ein Passwort erstellen, um Ihr Konto zu sichern, und sich später erneut anmelden. Gehen Sie dann zum [Unsloth Chat](/docs/de/neu/studio/chat.md) Registerkarte und suchen Sie in der Suchleiste nach Nemotron-3-Ultra und laden Sie Ihr gewünschtes Modell und Ihre gewünschte Quantisierung herunter. {% endstep %} {% step %} #### Nemotron-3-Ultra ausführen Die Inferenzparameter sollten bei der Verwendung von Unsloth Studio automatisch gesetzt werden, du kannst sie jedoch weiterhin manuell ändern. Du kannst außerdem die Kontextlänge, die Chat-Vorlage und andere Einstellungen bearbeiten. Für weitere Informationen können Sie unsere [Inferenzanleitung für Unsloth Studio](/docs/de/neu/studio/chat.md). {% endstep %} {% step %} #### Nemotron-3-Ultra bereitstellen Sie können auch `unsloth studio run` um das Modell wie folgt über llama-server bereitzustellen: {% code overflow="wrap" %} ```bash unsloth studio run --model unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B-GGUF:UD-Q4_K_XL ``` {% endcode %} {% endstep %} {% endstepper %} ### 🦙 Llama.cpp-Anleitung: Anleitung zum Ausführen in llama.cpp (beachten Sie, dass wir 4-Bit verwenden werden, damit es auf die meisten Geräte passt): {% stepper %} {% step %} Holen Sie sich die neueste `llama.cpp` auf [GitHub hier](https://github.com/ggml-org/llama.cpp). Sie können auch den untenstehenden Build-Anweisungen folgen. Ändern Sie `-DGGML_CUDA=ON` zu `-DGGML_CUDA=OFF` wenn Sie keine GPU haben oder nur CPU-Inferenz wünschen. **Für Apple-Mac-/Metal-Geräte**, setzen Sie `-DGGML_CUDA=OFF` und fahren Sie dann wie gewohnt fort - Metal-Unterstützung ist standardmäßig aktiviert. {% code overflow="wrap" %} ```bash apt-get update apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y git clone https://github.com/ggml-org/llama.cpp cmake llama.cpp -B llama.cpp/build \\ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpp ``` {% endcode %} {% endstep %} {% step %} Laden Sie das Modell mit dem folgenden Code herunter (nach der Installation von `pip install huggingface_hub`). Sie können Q4\_K\_M oder andere quantisierte Versionen wie `UD-Q4_K_XL` . Wir empfehlen, mindestens eine dynamische 2-Bit-Quantisierung zu verwenden `UD-Q2_K_XL` um Größe und Genauigkeit auszubalancieren. Wenn Downloads hängen bleiben, siehe: [Hugging Face Hub, XET-Debugging](/docs/de/grundlagen/troubleshooting-and-faqs/hugging-face-hub-xet-debugging.md) {% code overflow="wrap" %} ```bash pip install huggingface_hub hf download unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B-GGUF \\ --local-dir unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B-GGUF \\ --include "*UD-IQ3_XXS*" # Verwenden Sie "*UD-Q2_K_XL*" für dynamisches 2-Bit ``` {% endcode %} {% endstep %} {% step %} Dann führen Sie das Modell im Gesprächsmodus aus: {% code overflow="wrap" %} ```bash ./llama.cpp/llama-cli \\ --model unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B-GGUF/UD-IQ3_XXS/NVIDIA-Nemotron-3-Ultra-550B-A55B-UD-IQ3_XXS-00001-of-00006.gguf \\ --temp 1.0 \\ --top-p 0.95 \\ --min-p 0.01 ``` {% endcode %} {% endstep %} {% endstepper %} #### Llama-server-Auslieferung & -Bereitstellung Um Nemotron-3-Ultra lokal bereitzustellen, verwenden Sie `llama-server`. In einem neuen Terminal, zum Beispiel über `tmux`, stellen Sie das Modell bereit: ```bash ./llama.cpp/llama-server \\ -hf unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B-GGUF:UD-IQ3_XXS \\ --alias "unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B" \\ --temp 1.0 \\ --top-p 0.95 \\ --port 8001 ``` Wenn Sie das Modell manuell heruntergeladen haben, verwenden Sie: {% code overflow="wrap" %} ```bash ./llama.cpp/llama-server \\ --model unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B-GGUF/UD-IQ3_XXS/NVIDIA-Nemotron-3-Ultra-550B-A55B-UD-IQ3_XXS-00001-of-00006.gguf \\ --alias "unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B" \\ --temp 1.0 \\ --top-p 0.95 \\ --port 8001 ``` {% endcode %} Öffnen Sie dann in einem neuen Terminal, nach der Installation des OpenAI-Clients mit `pip install openai`: ```python from openai import OpenAI openai_client = OpenAI( base_url = "http://127.0.0.1:8001/v1", api_key = "sk-no-key-required", ) completion = openai_client.chat.completions.create( model = "unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B", messages = [ {"role": "user", "content": "Was ist 2+2?"}, ], ) print(completion.choices[0].message.reasoning_content) print(completion.choices[0].message.content) ```
Und auf 4 B200s werden bei der Generierung etwa 40 Token/s erreicht!
### Unsloth-GGUF-Benchmarks Wir haben auch KLD-Analysen für unsere GGUF-Quants durchgeführt – auf einer logarithmischen mittleren KLD-Skala verliert das Modell bei der Quantisierung bis hinunter zu 1-Bit nur sehr wenig Genauigkeit dank unserer [dynamischen Methodik](/docs/de/grundlagen/unsloth-dynamic-2.0-ggufs.md) bei der wichtigere Schichten in höherer Präzision belassen werden und der Rest in niedrigeren Bits.
Für eine lineare Skala:
### Offizielle Benchmarks Nemotron 3 Ultra ist NVIDIAs größtes Nemotron-3-Reasoning-Modell und ist auf führende Genauigkeit bei Frontier-Reasoning-, Coding- und agentischen Aufgaben ausgerichtet, während durch hohen Durchsatz die Zeit bis zur Aufgabenerledigung optimiert wird. Ultra eignet sich besonders für Workloads, bei denen der Aufgabenerfolg von anhaltendem Reasoning statt von kurzen Einmalantworten abhängt: * Autonome Coding-Sitzungen in großen Repositories * Tiefgehende Recherchen über viele Quellen hinweg mit widersprüchlichen Belegen * Unternehmens-Workflows mit persistierenden Tool-Nutzungs-Schleifen * EDA-/Chipdesign-Verifizierung und Fehleranalyse Wie in Abbildung 1 und Abbildung 2 gezeigt, führt Nemotron 3 Ultra bei der Genauigkeit in den Bereichen Agentenproduktivität, Befolgen von Anweisungen und Langkontextaufgaben und bietet durchgehend führende Leistung, wodurch im Vergleich zu anderen führenden offenen Modellen 30 % der Kosten eingespart werden. Abbildung 1: Nemotron 3 Ultra führt unter den offenen Modellen bei agentischen Benchmarks für Agentenproduktivität, Coding und Befolgen von Anweisungen.
Image of a table showing Nemotron 3 Ultra leading among open models on agentic benchmarks for agent productivity, coding, and instruction following.
Abbildung 2: Nemotron 3 Ultra spart bis zu 30 % Kosten und führt bei der Kosteneffizienzfrontier
Bild, das zeigt, dass Nemotron 3 Ultra bis zu 30 % der Kosten spart und bei der Kosteneffizienzfrontier führend ist
Weitere Benchmarks von NVIDIA: | Benchmark | N-3-Ultra 550B-A55B | MiniMax-2.7 230B-A10B | GLM-5.1 744B-A40B | Kimi-K2.6 1T-A32B | | | | | ---------------------------------------------------- | :-----------------: | :-------------------: | :---------------: | :---------------: | :---: | :---: | :--: | | **Agentisch** | | | | | | | | | Terminal Bench 2.1 | 56.4 | 55.5 | 59.3 | 67.2 | 49.9 | 49.2 | 54.2 | | GDPVal | 46.7 | 47.6 | 54.7 | 50.4 | 34.6 | 54.6 | 50.2 | | SWE-Bench Verified | 71.9 | 72.2 | 73.8 | 69.5 | 69.9 | 74.0 | 72.4 | | SWE-Bench Multilingual | 67.7 | 69.2 | 73.8 | 65.9 | 67.7 | 71.9 | 72.1 | | ProfBench (Search) | 56.0 | 52.0 | 46.0 | 56.0 | 53.0 | 59.9 | 57.0 | | PinchBench | 90.0 | 77.6 | 81.2 | 90.2 | 86.6 | 88.6 | 91.3 | | TauBench V3 | | | | | | | | | Fluggesellschaft | 81.5 | 75.3 | 85.0 | 85.8 | 76.5 | 80.8 | 80.8 | | Einzelhandel | 86.4 | 84.9 | 84.1 | 82.9 | 88.5 | 88.9 | 89.1 | | Telekommunikation | 92.9 | 89.6 | 96.9 | 97.8 | 98.0 | 96.3 | 98.3 | | Bankwesen | 22.6 | 14.6 | 12.8 | 23.1 | 20.9 | 25.9 | 26.7 | | Durchschnitt | 70.9 | 66.1 | 69.7 | 72.4 | 71.0 | 73.2 | 73.7 | | BrowseComp | 44.4 | 54.1 | 59.4 | 61.3 | 40.5 | 59.4 | 46.9 | | Vals.ai Financial Agent 1.1 | | | | | | | | | ohne Websuche | 60.1 | 51.3 | 60.2 | 54.0 | 61.3 | 58.9 | 58.4 | | mit Websuche | 53.7 | 50.5 | 60.7 | 58.8 | 59.0 | 62.3 | 60.1 | | **Reasoning und Wissen** | | | | | | | | | IOI 2025 | 570.0 | -- | 456.5 | 585.0 | 441.3 | 580.1 | -- | | LiveCodeBench (v6) | 89.0 | 77.2 | 85.7 | 90.2 | 79.3 | 92.5 | 90.9 | | IMOAnswerBench (ohne Tools) | 88.6 | 68.3 | 86.8 | 91.1 | 83.1 | 93.0 | 91.1 | | IMOAnswerBench (mit Tools) | 92.3 | 75.1 | 91.1 | 93.71 | 84.51 | 85.4 | 89.6 | | Apex-Shortlist (ohne Tools) | 74.9 | 28.9 | 71.1 | 77.4 | 61.4 | 85.8 | 82.4 | | Apex-Shortlist (mit Tools) | 84.8 | 51.9 | 79.0 | 73.2 | 60.4 | 86.5 | 82.0 | | GPQA (ohne Tools) | 87.0 | 86.6 | 86.1 | 91.0 | 87.1 | 87.8 | 88.5 | | SciCode (Teilaufgabe) | 44.6 | 38.3 | 47.7 | 52.0 | 48.0 | 50.5 | 48.2 | | HLE (ohne Tools) | 26.7 | 23.1 | 27.2 | 34.8 | 28.5 | 37.7 | 32.2 | | HLE (mit Tools) | 37.4 | -- | 50.4 | 54.0 | 48.3 | 48.2 | 45.1 | | CritPt (ohne Tools) | 3.1 | 0.6 | 3.7 | 9.1 | 2.4 | 14.0 | 10.6 | | MMLU-Pro | 86.8 | 81.9 | 85.9 | 88.1 | 88.3 | 87.5 | 86.4 | | OmniScience-Genauigkeit | 24.1 | 20.5 | 31.3 | 35.5 | 35.9 | 46.8 | 39.9 | | OmniScience ohne Halluzinationen | 78.7 | 74.4 | 66.8 | 67.1 | 7.4 | 5.7 | 2.8 | | **Chat & Befolgen von Anweisungen** | | | | | | | | | IFBench (lockerer Prompt) | 81.7 | 74.6 | 76.6 | 73.7 | 78.2 | 79.1 | 82.0 | | Multi-Challenge | 63.8 | 42.5 | 63.0 | 63.1 | 63.9 | 64.1 | 63.5 | | **Langer Kontext** | | | | | | | | | AA-LCR | 65.4 | 69.8 | 66.9 | 70.2 | 68.3 | 67.3 | 62.7 | | RULER (1M) | 94.7 | -- | -- | -- | 90.1 | 94.2 | 87.7 | | Longbench v2 (≤ 1 Mio.) | 61.9 | -- | -- | -- | 68.9 | 62.1 | 57.0 | | **Mehrsprachig** | | | | | | | | | MMLU-ProX (Durchschn. en/de/fr/es/it/ja/zh/hi/pt/ko) | 83.0 | 78.4 | 85.8 | 85.0 | 86.4 | 85.6 | 84.3 | | WMT24++ (en→xx) | 83.7 | 82.8 | 84.4 | 84.5 | 86.8 | 85.9 | 85.9 | --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter: ``` GET https://unsloth.ai/docs/de/modelle/nemotron-3-ultra.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.