> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/modelle/nemotron-3.5-super-vl.md).

# NVIDIA Nemotron 3.5 Super VL: Anleitung für die lokale Ausführung

Führe Nemotron 3.5 Super VL lokal mit Unsloth-GGUFs aus.

NVIDIA Nemotron-3.5-Super-VL-120B-A12B ist ein **120B-Parameter, 12B aktiv** hybrides Reasoning-MoE-Modell mit **bis zu 1M Token Kontext**. Es akzeptiert Text, Bilder und Video für das Verständnis von Dokumenten, die Computerverwendung und Agenten-Workflows und erzeugt Text.

Es unterstützt JSON-Ausgabe und Tool-Calling und enthält einen integrierten Multi-Token-Prediction-(MTP)-Kopf. Unsloth-GGUFs reichen von **46.1GB (1-Bit) bis 132GB (8-Bit)**. Wir haben außerdem NVFP4-Quantisierungen (79GB) erstellt und das LiLiCorr-DSpark-Modul hinzugefügt. **Unsloth-Quantisierungen:** [NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-GGUF](https://huggingface.co/unsloth/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-GGUF)

<a href="/docs/de/modelle/nemotron-3.5-super-vl.md#run-nemotron-35-super-vl-guide" class="button primary">Nemotron-3.5-Super-VL-Leitfaden</a><a href="/docs/de/modelle/nemotron-3.5-bolt.md" class="button secondary">Nemotron-3.5-Bolt-Leitfaden ausführen</a>

### ⚙️ Nutzungsleitfaden

**Nemotron 3.5 Super VL-Anforderungen**

Die kleinste **1-Bit-GGUF ist 46.1GB**; planen Sie mindestens **64GB RAM oder Unified Memory**. Das **4-Bit-GGUF ist 86.9GB**, mit etwa **128GB** empfohlen. Sie können das Modell auch zwischen System-RAM und GPU-VRAM aufteilen. Sie können auch das NVFP4 ausführen, das eine direkte verlustfreie Konvertierung von NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 ist.

| Quantisierung        | GGUF-Größe | Geschätzter Mindestspeicher |
| -------------------- | ---------- | --------------------------- |
| UD-IQ1\_M (1-Bit)    | 46.1GB     | 64GB                        |
| UD-IQ2\_XXS (2-Bit)  | 51.1GB     | 64GB                        |
| UD-IQ2\_M (2-Bit)    | 55.9GB     | 80GB                        |
| UD-Q2\_K\_XL (2-Bit) | 57.8GB     | 80GB                        |
| UD-IQ3\_XXS (3-Bit)  | 59.8GB     | 80GB                        |
| UD-Q3\_K\_XL (3-Bit) | 65.8GB     | 96GB                        |
| NVFP4 (4-Bit)        | 79GB       | 96GB                        |
| UD-Q4\_K\_XL (4-Bit) | 86.9GB     | 128GB                       |
| UD-Q5\_K\_XL (5-Bit) | 111GB      | 160GB                       |
| UD-Q6\_K\_XL (6-Bit) | 121GB      | 160GB                       |
| Q8\_0 (8-Bit)        | 132GB      | 192GB                       |

Die Speicherangaben sind **Planungswerte** für einen moderaten Kontext, einschließlich Puffer für das Betriebssystem, die Runtime, den KV-Cache und den Vision-Projektor. Allein die GGUF-Dateigröße ist nicht der RAM-Bedarf. Längere Kontexte und Video benötigen mehr Speicher; alle Modellgewichte müssen gespeichert werden, obwohl pro Token nur 12B Parameter aktiv sind. Zählen Sie Unified Memory nur einmal.

Ein **128GB Unified-Memory-System**, wie DGX Spark, passt in das vorgeschlagene 4-Bit-Speicherbudget. NVIDIA dokumentiert die DGX-Spark-Unterstützung über NIM; diese GGUF-Speicherabschätzungen sind keine gemessenen Leistungsergebnisse.

### Empfohlene Einstellungen

NVIDIA empfiehlt diese Einstellungen:

| Parameter    | Wert   |
| ------------ | ------ |
| `Temperatur` | `1.0`  |
| `top_p`      | `0.95` |

Beginnen Sie mit **16K-Kontext** und erhöhen Sie ihn, sobald der Speicher es zulässt. Das Modell unterstützt bis zu **1M Token**, aber Ihre Runtime oder Ihr NIM-Profil kann ein niedrigeres Limit haben. Prompt- und Ausgabe-Token teilen sich dieses Budget. Die Beispiele dienen jeweils nur einer Anfrage auf einmal.

**Denken ein oder aus**

Das Modell unterstützt `enable_thinking=True` (Standard) für Reasoning und `enable_thinking=False` für direkte Antworten. NVIDIA NIM akzeptiert dies über Chat-Template-kwargs. Für lokale GGUFs verwenden Sie die Chat-Vorlage des Modells und die von Ihrer Runtime unterstützten Denksteuerungen.

{% hint style="info" %}
Nemotron 3.5 Super VL wird mit **MTP (Multi-Token Prediction)**, das in Unsloth standardmäßig für schnellere Ausgaben aktiviert ist. Sie können es in den Einstellungen deaktivieren. Siehe unseren [MTP-Leitfaden](https://unsloth.ai/docs/models/mtp).
{% endhint %}

### Leitfaden zum Ausführen von Nemotron 3.5 Super VL <a href="#run-nemotron-35-super-vl-guide" id="run-nemotron-35-super-vl-guide"></a>

Für dieses Tutorial verwenden wir **UD-Q4\_K\_XL (86.9GB)** mit etwa **128GB Speicher**. Wählen Sie eine kleinere Quantisierung aus der obigen Tabelle, wenn Sie weniger Speicher haben.

#### 🦥 Nemotron 3.5 Super VL in Unsloth Desktop ausführen <a href="#run-nemotron-35-super-vl-in-unsloth-desktop" id="run-nemotron-35-super-vl-in-unsloth-desktop"></a>

Nemotron 3.5 Super VL direkt ausführen in [Unsloth Desktop](https://unsloth.ai/docs/desktop) auf **macOS, Windows und Linux**. Suchen, herunterladen und mit dem Modell in der App chatten.

{% stepper %}
{% step %}

#### **Unsloth einrichten**

Am einfachsten starten Sie, indem Sie die [Unsloth-Desktop-App](/docs/de/desktop.md).

<a href="https://unsloth.ai/download" class="button primary" data-icon="down-to-bracket">Unsloth herunterladen</a>

* <i class="fa-apple">:apple:</i> [Für macOS herunterladen](https://unsloth.ai/download/mac)
* <i class="fa-windows">:windows:</i> [Für Windows herunterladen](https://unsloth.ai/download/windows)
* <i class="fa-linux">:linux:</i> [Für Linux herunterladen](https://unsloth.ai/download/linux)

Sie können es auch manuell installieren:

{% tabs %}
{% tab title="Native-Installation" %}
**MacOS, Linux, WSL:**

```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```

**Windows:**

```powershell
irm https://unsloth.ai/install.ps1 | iex
```

{% endtab %}

{% tab title="Docker" %}
Das [Unsloth-Docker-Image](https://hub.docker.com/r/unsloth/unsloth) `unsloth/unsloth` ist auf Docker verfügbar. [Anleitung lesen.](https://unsloth.ai/docs/get-started/install/docker)
{% endtab %}

{% tab title="Homebrew" %}
Unsloth Desktop installieren:

{% code collapsedlinecount="10" %}

```bash
brew install --cask unsloth
```

{% endcode %}

Unsloth Desktop aktualisieren:

```bash
brew upgrade --cask unsloth
```

{% endtab %}

{% tab title="WinGet" %}
Unsloth Desktop installieren:

```powershell
winget install --id UnslothAI.Unsloth -e
```

Unsloth Desktop aktualisieren:

```powershell
winget upgrade --id UnslothAI.Unsloth -e
```

{% endtab %}
{% endtabs %}
{% endstep %}

{% step %}

#### Nemotron 3.5 Super VL einrichten und ausführen

Gehen Sie zu [Unsloth Chat](/docs/de/neu/studio/chat.md) oder Model Hub und suchen Sie in der Suchleiste nach Nemotron 3.5 Super VL und laden Sie das gewünschte Modell und die gewünschte Quantisierung herunter. Jetzt sind Sie bereit, das Modell auszuführen!

Die Inferenzparameter sollten bei Verwendung von Unsloth automatisch gesetzt werden; Sie können sie jedoch weiterhin manuell ändern. Sie können auch die Kontextlänge, die Chat-Vorlage und andere Einstellungen bearbeiten.

Um das Bildverständnis zu testen, hängen Sie ein PNG oder JPEG an und fragen Sie **„Was ist auf diesem Bild?“**

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FrTV33NAoY62hmlGHaEyw%2Fnemotron-super-vl-unsloth-desktop.png?alt=media&amp;token=e38fc0f5-bae6-442f-8c6f-4e9c54d326aa" alt="" width="563"><figcaption></figcaption></figure>

Weitere Informationen finden Sie in unserem [Unsloth-Inferenzleitfaden](/docs/de/neu/studio/chat.md).
{% endstep %}

{% step %}

#### Nemotron 3.5 Super VL mit der Unsloth-API bereitstellen

Nemotron 3.5 Super VL bereitstellen mit `unsloth run`. Sie können llama-server-Flags für die Kontextgröße, GPU-Layer und andere Einstellungen übergeben. Siehe unsere [API-Dokumentation](https://unsloth.ai/docs/basics/api) oder [unsloth start](https://unsloth.ai/docs/integrations/unsloth-start).

{% code overflow="wrap" %}

```bash
unsloth run --model unsloth/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-GGUF:UD-IQ2_XXS \\
    --ctx-size 4096 --parallel 1 --alias nemotron-super-vl \\
    --host 127.0.0.1 --port 8001
```

{% endcode %}
{% endstep %}

{% step %}

#### Unsloth ist jetzt bereit

Sie können mit Nemotron 3.5 Super VL über Unsloth Desktop auch viele andere Dinge tun, zum Beispiel:

* **Tools verbinden:** [Claude Code](/docs/de/grundlagen/claude-code.md), [Codex](/docs/de/grundlagen/codex.md), [Websuche](/docs/de/neu/studio/chat.md#advanced-web-search), [MCP](/docs/de/grundlagen/mcp.md) und mehr
* **Modelle trainieren:** Feinabstimmen von Text, Diffusion, [Embedding](/docs/de/grundlagen/embedding-finetuning.md), und mehr
* **Medien generieren:** Erstellen und trainieren [Bilder](/docs/de/grundlagen/diffusion-image.md), Video, [TTS](/docs/de/grundlagen/text-to-speech-tts-fine-tuning.md) lokal
  {% endstep %}
  {% endstepper %}

### KLD-Benchmarks

Wir haben UD-3 verwendet, um Nemotron Super zu konvertieren, und haben allgemeines KLD sowie auch einen KLD-Datensatz mit unbekanntem Text zur Beurteilung von Overfitting durchgeführt – im Allgemeinen ist UD-Q4\_K\_XL in Bezug auf KLD im Verhältnis zum Speicherplatz am besten – NVFP4 ist im Allgemeinen ebenfalls in Ordnung, und UD-Q3\_K\_XL ist ebenfalls vernünftig.

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FI0Lb9lHn00vouMw6Lj8n%2Fnemotron35_super_vl_kld_vs_disk(2).png?alt=media&amp;token=7aea3a84-5740-45e3-b542-2982133cafdb" alt=""><figcaption></figcaption></figure>

#### 🦙 Nemotron 3.5 Super VL in llama.cpp ausführen <a href="#run-nemotron-35-super-vl-in-llama.cpp" id="run-nemotron-35-super-vl-in-llama.cpp"></a>

{% stepper %}
{% step %}
**llama.cpp erstellen**

Installieren Sie die neueste Version von llama.cpp. Sie können auch den folgenden Build-Anweisungen folgen. Ändern Sie `-DGGML_CUDA=ON` zu `-DGGML_CUDA=OFF` wenn Sie keine GPU haben oder einfach nur CPU-Inferenz möchten. **Für Apple-Mac-/Metal-Geräte**, setzen Sie `-DGGML_CUDA=OFF` dann fahren Sie wie gewohnt fort – Metal-Unterstützung ist standardmäßig aktiviert.

```bash
apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \\
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp
```

Für Video werden beide benötigt `ffmpeg` und `ffprobe` Fahren Sie mit den folgenden Befehlen von diesem `llama.cpp` Verzeichnis fort.
{% endstep %}

{% step %}
**Laden Sie das Unsloth-GGUF herunter**

Laden Sie das Modell und seinen Vision-Projektor herunter:

{% code overflow="wrap" %}

```bash
python3 -m venv .venv
source .venv/bin/activate
pip install -U huggingface_hub

hf download unsloth/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-GGUF \\
    --local-dir models/nemotron-super-vl \\
    --include "*UD-Q4_K_XL*.gguf" "*mmproj*.gguf"
```

{% endcode %}

Setzen Sie die Pfade zum heruntergeladenen Modell und seinem passenden Projektor. Bei einem aufgeteilten GGUF halten Sie alle Shards zusammen und verweisen Sie auf den **ersten Shard**. Passen Sie die Dateinamen unten an Ihren Download an.

```bash
MODEL_FILE="models/nemotron-super-vl/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-UD-Q4_K_XL.gguf"
MMPROJ_FILE="models/nemotron-super-vl/mmproj-BF16.gguf"
```

{% endstep %}

{% step %}
**Text und Bilder ausführen**

Für Text:

```bash
./llama.cpp/llama-cli \\
    --model "$MODEL_FILE" --ctx-size 16384 --temp 1.0 --top-p 0.95 --top-k 0 --min-p 0.0 \\
    --prompt "Erkläre, was ein Vision-Language-Modell tut."
```

Für ein Bild setzen Sie den Pfad zu Ihrem eigenen RGB-PNG oder JPEG. Für PDFs rendern Sie die Seiten zuerst in Bilder:

{% code overflow="wrap" %}

```bash
./llama.cpp/llama-mtmd-cli \\
    --model "$MODEL_FILE" --mmproj "$MMPROJ_FILE" \\
    --ctx-size 16384 --temp 1.0 --top-p 0.95 --top-k 0 --min-p 0.0 \\
    --image /path/to/picture.jpg \\
    --prompt "Beschreibe dieses Bild und extrahiere jeden sichtbaren Text."
```

{% endcode %}
{% endstep %}

{% step %}
**Video ausführen**

Starten Sie die multimodale CLI:

```bash
./llama.cpp/llama-mtmd-cli \\
    --model "$MODEL_FILE" --mmproj "$MMPROJ_FILE" \\
    --ctx-size 16384 --temp 1.0 --top-p 0.95 --top-k 0 --min-p 0.0
```

Geben Sie dann diese Zeilen ein **in der CLI**:

```
/video /path/to/video.mp4
Fassen Sie das Video zusammen und beschreiben Sie die wichtigsten Ereignisse.
```

Die Model Card empfiehlt **MP4-Clips von 1–2 Minuten**. NIM sampelt mit 2 FPS, bis zu 256 Frames; das lokale Sampling hängt von der Runtime ab. Beginnen Sie mit einem kurzen Clip und erhöhen Sie den Kontext bei Bedarf, da Videoframes Prompt-Token verbrauchen.
{% endstep %}
{% endstepper %}

#### Bereitstellung und Auslieferung mit Llama-Server <a href="#llama-server-serving-and-deployment" id="llama-server-serving-and-deployment"></a>

{% stepper %}
{% step %}
**Starten Sie llama-server**

Erstellen Sie ein Medienverzeichnis und starten Sie den Server:

{% code overflow="wrap" %}

```bash
mkdir -p media
./llama.cpp/llama-server \\
    --model "$MODEL_FILE" --mmproj "$MMPROJ_FILE" \\
    --alias nemotron-super-vl \\
    --ctx-size 16384 --parallel 1 --temp 1.0 --top-p 0.95 --top-k 0 --min-p 0.0 \\
    --media-path "$PWD/media" \\
    --host 127.0.0.1 --port 8001
```

{% endcode %}

Öffnen Sie **<http://127.0.0.1:8001>** auf demselben Rechner, um mit dem llama.cpp-Server zu chatten.
{% endstep %}

{% step %}
**Senden Sie eine API-Anfrage**

Für Video kopieren Sie einen kurzen Clip nach `media/clip.mp4`, und führen Sie dann diesen Befehl in einem anderen Terminal aus:

{% code overflow="wrap" %}

```bash
curl http://127.0.0.1:8001/v1/chat/completions \\
    -H 'Content-Type: application/json' \\
    -d '{
      "model": "nemotron-super-vl",
      "messages": [{"role": "user", "content": [
        {"type": "text", "text": "Fassen Sie dieses Video zusammen."},
        {"type": "input_video", "input_video": {"url": "file://clip.mp4"}}
      ]}],
      "max_tokens": 1024
    }'
```

{% endcode %}

`--media-path` ermöglicht es dem Server, lokale Medien aus diesem Verzeichnis zu lesen. Verwenden Sie für reine Textanfragen `"content": "Was ist 2+2?"` anstelle des Content-Arrays.
{% endstep %}
{% endstepper %}

#### 📊 Benchmarks

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FBjoqDdZWELPnsSztDMlZ%2Faccuracy_plot(1).png?alt=media&amp;token=e4994520-d7a8-4d06-b183-fd6182c878d3" alt=""><figcaption></figcaption></figure>


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://unsloth.ai/docs/de/modelle/nemotron-3.5-super-vl.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.