> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/modelle/nemotron-3.5-bolt.md).

# NVIDIA Nemotron 3.5 Bolt: Anleitung für die lokale Ausführung

Führe Nemotron 3.5 Bolt lokal mit Unsloth-GGUFs aus.

NVIDIA Nemotron-3.5-Bolt-**E4B** und Nemotron-3.5-Bolt-**74B-A9B** sind neue Open-Modelle von NVIDIA. Bolt-74B-A9B ist ein **74B-Parameter**, ein 9B aktives hybrides Reasoning-MoE-Modell, komprimiert aus Super VL. Es unterstützt **Text, Bilder und Video**, Tool-Aufrufe und ein **128K-Kontextfenster** . Führen Sie das Modell lokal über [Unsloth Desktop](https://unsloth.ai/docs/de/desktop.md) oder llama.cpp aus.

Bolt-E4B-4GB ist ein **8B-Parameter** (4B effektiv), ein Modell basierend auf [Gemma 4](https://unsloth.ai/docs/de/modelle/gemma-4.md) E4B. Es unterstützt ein **64K-Kontextfenster**, Tool-Aufrufe über mehrere Gesprächsrunden und konfigurierbares Reasoning. Downloads: [74B-A9B Unsloth-GGUFs](https://huggingface.co/unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF) · [E4B NVIDIA-GGUF](https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB).

<a href="https://unsloth.ai/docs/de/modelle/nemotron-3.5-bolt.md#run-nemotron-35-bolt-guide" class="button primary">Anleitung zum Ausführen von Nemotron-3.5-Bolt</a><a href="https://unsloth.ai/docs/de/modelle/nemotron-3.5-super-vl.md" class="button secondary">Nemotron-3.5-Super-VL-Anleitung</a>

### ⚙️ Gebrauchsanleitung

**Anforderungen für Nemotron 3.5 Bolt**

Für **74B-A9B** die Nutzung mit kurzem Kontext sollten Sie etwa **32 GB RAM oder Unified Memory**; **48–64 GB** einplanen; das bietet mehr Spielraum. **E4B** läuft mit ungefähr **4 GB VRAM** oder **6 GB RAM.**

| Modell / Quantisierung         | Downloadgröße | Speicherhinweise             |
| ------------------------------ | ------------- | ---------------------------- |
| **E4B** · Q4\_K\_M (4 Bit)     | 6,18 GB       | \~4 GB VRAM + Systemspeicher |
| **74B-A9B** · IQ2\_XXS (2 Bit) | 22 GB         | 24–32 GB RAM                 |

* Die Speichernutzung variiert je nach Kontext und Laufzeit. Die \~4-GB-Angabe für E4B bezieht sich auf VRAM, nicht auf den gesamten Systemspeicher oder die Downloadgröße. Das 74B-A9B-Modell benötigt zusätzlichen Speicher für Bilder/Videos und den Vision-Projector. Die Downloadgrößen beziehen sich auf die GGUF-Gewichte.

{% hint style="info" %}
**74B-A9B** verwendet ein **LiLiCorr** Draft-Modell in **NVFP4** (998 MB) standardmäßig in Unsloth für schnellere Ausgabe. Es benötigt etwa 1–2 GB mehr Speicher. E4B hat einen separaten optionalen [DFlash-Drafter](https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB-DFlash).
{% endhint %}

#### Empfohlene Einstellungen

Unsloth konfiguriert die Inferenzparameter automatisch. Die 74B-A9B-Beispiele verwenden standardmäßige Sampling-Einstellungen. Für E4B empfiehlt NVIDIA **Temperatur 1,0** und **top\_p 0,95** mit aktiviertem oder deaktiviertem Reasoning.

* **Kontext:** Bis zu **128K für 74B-A9B** oder **64K für E4B**.

### Anleitung zum Ausführen von Nemotron 3.5 Bolt <a href="#run-nemotron-35-bolt-guide" id="run-nemotron-35-bolt-guide"></a>

Wir verwenden den **22 GB 74B-A9B IQ2\_XXS** Quant in diesem Tutorial.

#### 🦥 Nemotron 3.5 Bolt in Unsloth Desktop ausführen <a href="#run-nemotron-35-bolt-in-unsloth-desktop" id="run-nemotron-35-bolt-in-unsloth-desktop"></a>

Führen Sie Nemotron 3.5 Bolt direkt in [Unsloth Desktop](https://unsloth.ai/docs/desktop) auf **macOS, Windows und Linux**. Suchen, herunterladen und mit dem Modell in der App chatten.

{% stepper %}
{% step %}

#### **Unsloth installieren**

Der einfachste Einstieg ist das Herunterladen der [Unsloth-Desktop-App](https://unsloth.ai/docs/de/desktop.md).

<a href="https://unsloth.ai/download" class="button primary" data-icon="down-to-bracket">Unsloth herunterladen</a>

* <i class="fa-apple">:apple:</i> [Für macOS herunterladen](https://unsloth.ai/download/mac)
* <i class="fa-windows">:windows:</i> [Für Windows herunterladen](https://unsloth.ai/download/windows)
* <i class="fa-linux">:linux:</i> [Für Linux herunterladen](https://unsloth.ai/download/linux)

Sie können auch manuell installieren:

{% tabs %}
{% tab title="Native-Installation" %}
**MacOS, Linux, WSL:**

```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```

**Windows:**

```powershell
irm https://unsloth.ai/install.ps1 | iex
```

{% endtab %}

{% tab title="Docker" %}
Das [Unsloth-Docker-Image](https://hub.docker.com/r/unsloth/unsloth) `unsloth/unsloth` ist auf Docker verfügbar. [Anleitung lesen.](https://unsloth.ai/docs/get-started/install/docker)
{% endtab %}

{% tab title="Homebrew" %}
Unsloth Desktop installieren:

{% code collapsedlinecount="10" %}

```bash
brew install --cask unsloth
```

{% endcode %}

Unsloth Desktop aktualisieren:

```bash
brew upgrade --cask unsloth
```

{% endtab %}

{% tab title="WinGet" %}
Unsloth Desktop installieren:

```powershell
winget install --id UnslothAI.Unsloth -e
```

Unsloth Desktop aktualisieren:

```powershell
winget upgrade --id UnslothAI.Unsloth -e
```

{% endtab %}
{% endtabs %}
{% endstep %}

{% step %}

#### **Nemotron 3.5 Bolt einrichten und ausführen**

Gehen Sie zu [Unsloth Chat](https://unsloth.ai/docs/de/neu/studio/chat.md) oder dem Model Hub und suchen Sie nach **Nemotron 3.5 Bolt** in der Suchleiste und laden Sie das gewünschte Modell und die gewünschte Quantisierung herunter. Jetzt sind Sie bereit, das Modell auszuführen!

Die Inferenzparameter sollten bei der Verwendung von Unsloth automatisch gesetzt werden, Sie können sie jedoch weiterhin manuell ändern. Sie können auch die Kontextlänge, die Chat-Vorlage und andere Einstellungen bearbeiten.

Um das Verständnis von Bildern auszuprobieren, hängen Sie ein PNG oder JPEG an und fragen Sie **„Was ist auf diesem Bild?“**

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FREZvGu7WyeaPxOjmrzPQ%2Fnemotron-bolt-unsloth-desktop.png?alt=media&amp;token=79d73c34-27fa-43b0-8362-99718df43478" alt="" width="375"><figcaption></figcaption></figure>

Für weitere Informationen können Sie unsere [Unsloth-Inferenzanleitung](https://unsloth.ai/docs/de/neu/studio/chat.md).
{% endstep %}

{% step %}
Nemotron 3.5 Bolt mit der Unsloth-API bereitstellen

Nemotron 3.5 Bolt mit `unsloth run`. Sie können llama-server-Flags für Kontextgröße, GPU-Layer und andere Einstellungen übergeben. Ändern Sie den Modellnamen entsprechend. Siehe unsere [API-Dokumentation](https://unsloth.ai/docs/basics/api) oder [unsloth start](https://unsloth.ai/docs/integrations/unsloth-start).

{% code overflow="wrap" %}

```bash
unsloth run --model unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF:IQ2_XXS \\
    --ctx-size 4096 --parallel 1 --alias nemotron-bolt \\
    --host 127.0.0.1 --port 8001
```

{% endcode %}
{% endstep %}

{% step %}

#### Unsloth ist jetzt bereit

Sie können mit Nemotron 3.5 Bolt über Unsloth Desktop auch viele andere Dinge tun, wie:

* **Tools verbinden:** [Claude Code](https://unsloth.ai/docs/de/grundlagen/claude-code.md), [Codex](https://unsloth.ai/docs/de/grundlagen/codex.md), [Websuche](https://unsloth.ai/docs/de/neu/studio/chat.md#advanced-web-search), [MCP](https://unsloth.ai/docs/de/grundlagen/mcp.md) und mehr
* **Modelle trainieren:** Text, Diffusion, [Embedding](https://unsloth.ai/docs/de/grundlagen/embedding-finetuning.md), und mehr
* **Medien generieren:** Erstellen und trainieren [Bilder](https://unsloth.ai/docs/de/grundlagen/diffusion-image.md), Video, [TTS](https://unsloth.ai/docs/de/grundlagen/text-to-speech-tts-fine-tuning.md) lokal
  {% endstep %}
  {% endstepper %}

#### 🦙 Nemotron 3.5 Bolt in llama.cpp ausführen <a href="#run-nemotron-35-bolt-in-llama.cpp" id="run-nemotron-35-bolt-in-llama.cpp"></a>

{% stepper %}
{% step %}
**llama.cpp erstellen**

Installieren Sie die neueste Version von llama.cpp. Sie können auch den unten stehenden Build-Anweisungen folgen. Ändern Sie `-DGGML_CUDA=ON` zu `-DGGML_CUDA=OFF` wenn Sie keine GPU haben oder einfach nur CPU-Inferenz möchten. **Für Apple Mac-/Metal-Geräte**, setzen Sie `-DGGML_CUDA=OFF` und fahren Sie dann wie gewohnt fort – Metal-Unterstützung ist standardmäßig aktiviert.

```bash
apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \\
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp
```

Video benötigt beides `ffmpeg` und `ffprobe` in Ihrem PATH. Fahren Sie die folgenden Befehle von diesem `llama.cpp` Verzeichnis aus fort.
{% endstep %}

{% step %}
**Laden Sie das Unsloth-GGUF herunter**

Herunterladen `IQ2_XXS` und den Vision-Projector für Bild-/Videoeingaben. Ändern Sie unten den Quant-Namen, um eine andere Version herunterzuladen:

{% code overflow="wrap" %}

```bash
python3 -m venv .venv
source .venv/bin/activate
pip install -U huggingface_hub

hf download unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF \\
    --local-dir models/nemotron-bolt \\
    --include "*IQ2_XXS*.gguf" "*mmproj*.gguf"
```

{% endcode %}

Setzen Sie die Pfade zum heruntergeladenen Modell und seinem passenden Projektor. Bei einem aufgeteilten GGUF halten Sie alle Shards zusammen und verweisen Sie auf den **ersten Shard**. Passen Sie die untenstehenden Dateinamen an Ihren Download an.

```bash
MODEL_FILE="models/nemotron-bolt/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-IQ2_XXS.gguf"
MMPROJ_FILE="models/nemotron-bolt/mmproj-BF16.gguf"
```

{% endstep %}

{% step %}
**Text und Bilder ausführen**

Für Text:

```bash
./llama.cpp/llama-cli \\
    --model "$MODEL_FILE" --ctx-size 4096 \\
    --prompt "Erklären Sie, was ein Vision-Language-Modell tut."
```

Für ein Bild setzen Sie den Pfad zu Ihrem eigenen PNG oder JPEG:

{% code overflow="wrap" %}

```bash
./llama.cpp/llama-mtmd-cli \\
    --model "$MODEL_FILE" --mmproj "$MMPROJ_FILE" \\
    --ctx-size 4096 \\
    --image /path/to/picture.jpg \\
    --prompt "Beschreiben Sie dieses Bild und extrahieren Sie jeden sichtbaren Text."
```

{% endcode %}
{% endstep %}

{% step %}
**Video ausführen**

Starten Sie die multimodale CLI:

```bash
./llama.cpp/llama-mtmd-cli \\
    --model "$MODEL_FILE" --mmproj "$MMPROJ_FILE" \\
    --ctx-size 4096
```

Geben Sie dann diese Zeilen ein **in der CLI**:

```
/video /path/to/video.mp4
Fassen Sie das Video zusammen und beschreiben Sie die wichtigsten Ereignisse.
```

Unterstützt MP4-Clips von bis zu 2 Minuten. Verwenden Sie bis zu 1 FPS / 128 Frames bei 1080p oder 2 FPS / 256 Frames bei 720p. Beginnen Sie mit einem kurzen Clip und erhöhen Sie den Kontext bei Bedarf.
{% endstep %}
{% endstepper %}

### Benchmarks

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FHf4Zgb51geMaxzCKvfaF%2Faccuracy.png?alt=media&amp;token=26ede764-8518-4867-8427-0e4171187747" alt=""><figcaption></figcaption></figure>


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://unsloth.ai/docs/de/modelle/nemotron-3.5-bolt.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
