> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/modelle/nemotron-3.5-bolt.md).

# NVIDIA Nemotron 3.5 Bolt: Anleitung für die lokale Ausführung

Führe Nemotron 3.5 Bolt lokal mit Unsloth-GGUFs aus.

NVIDIA Nemotron-3.5-Bolt-74B-A9B ist ein **74B Parameter, 9B aktiv** hybrides Reasoning-MoE-Modell, komprimiert aus Super VL. Es unterstützt **Text, Bilder und Video**, Tool-Calling und ein **128K Kontext** Fenster. Unsloths Quants können lokal in Unsloth Desktop oder llama.cpp ausgeführt werden.

Seine **Hybrid LatentMoE** Architektur kombiniert Mamba-2-, Attention- und Mixture-of-Experts-Schichten. NVIDIAs IQ2-Version speichert die meisten Expertengewichte bei **2,06-Bit IQ2\_XXS**, während die Mamba-Schichten in NVFP4 und der Ausgabekopf in Q8\_0 bleiben. **Unsloth Quants:** [NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF](https://huggingface.co/unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF)

<a href="/docs/de/modelle/nemotron-3.5-bolt.md#run-nemotron-35-bolt-guide" class="button primary">Anleitung zum Ausführen von Nemotron-3.5-Bolt</a><a href="/docs/de/modelle/nemotron-3.5-super-vl.md" class="button secondary">Nemotron-3.5-Super-VL-Anleitung</a>

### **⚙️ Gebrauchsanleitung**

**Anforderungen für Nemotron 3.5 Bolt**

Für die Verwendung mit kurzem Kontext rechnen Sie mit etwa **32 GB RAM oder Unified Memory**; **48–64 GB** gibt mehr Spielraum. Bolt ist verfügbar in **1-Bit und 2-Bit**:

| Quantisierung    | Downloadgröße | Geschätzter Mindest-RAM |
| ---------------- | ------------- | ----------------------- |
| 2-Bit · IQ2\_XXS | 22 GB         | 24–32 GB                |

* Die Speicherangaben sind Schätzungen für die Verwendung mit kurzem Kontext. Längere Kontexte sowie Bilder/Video benötigen zusätzlichen Speicher für den Cache und den Vision-Projektor. Die Downloadgrößen beziehen sich auf die GGUF-Gewichte.

{% hint style="info" %}
Nemotron 3.5 Bolt verwendet ein **LiLiCorr** Draft-Modell in **NVFP4** (998 MB) standardmäßig in Unsloth für schnellere Ausgabe. Es benötigt etwa 1–2 GB mehr Speicher.
{% endhint %}

#### Empfohlene Einstellungen

Unsloth konfiguriert Inferenz-Einstellungen automatisch. Die llama.cpp-Beispiele verwenden Standard-Sampling-Einstellungen, da NVIDIA keine Bolt-spezifischen Temperatur- oder Top-p-Werte angegeben hat.

* **Kontext:** Beginnen Sie mit 4K und erhöhen Sie je nach verfügbarem Speicher bis zu 128K Tokens.
* **Chat-Vorlage:** Verwenden Sie die mit dem Modell enthaltene Vorlage.

### Nemotron 3.5 Bolt Anleitung ausführen <a href="#run-nemotron-35-bolt-guide" id="run-nemotron-35-bolt-guide"></a>

Wir verwenden den **22 GB `IQ2_XXS`** Quant in diesem Tutorial.

#### 🦥 Nemotron 3.5 Bolt in Unsloth Desktop ausführen <a href="#run-nemotron-35-bolt-in-unsloth-desktop" id="run-nemotron-35-bolt-in-unsloth-desktop"></a>

Nemotron 3.5 Bolt direkt ausführen in [Unsloth Desktop](https://unsloth.ai/docs/desktop) auf **macOS, Windows und Linux**. Suchen Sie in der App nach dem Modell, laden Sie es herunter und chatten Sie damit.

{% stepper %}
{% step %}

#### **Unsloth installieren**

Am einfachsten starten Sie, indem Sie die [Unsloth Desktop-App](/docs/de/desktop.md).

<a href="https://unsloth.ai/download" class="button primary" data-icon="down-to-bracket">Unsloth herunterladen</a>

* <i class="fa-apple">:apple:</i> [Für macOS herunterladen](https://unsloth.ai/download/mac)
* <i class="fa-windows">:windows:</i> [Für Windows herunterladen](https://unsloth.ai/download/windows)
* <i class="fa-linux">:linux:</i> [Für Linux herunterladen](https://unsloth.ai/download/linux)

Sie können auch manuell installieren:

{% tabs %}
{% tab title="Native-Installation" %}
**MacOS, Linux, WSL:**

```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```

**Windows:**

```powershell
irm https://unsloth.ai/install.ps1 | iex
```

{% endtab %}

{% tab title="Docker" %}
Das [Unsloth-Docker-Image](https://hub.docker.com/r/unsloth/unsloth) `unsloth/unsloth` ist auf Docker verfügbar. [Anleitung lesen.](https://unsloth.ai/docs/get-started/install/docker)
{% endtab %}

{% tab title="Homebrew" %}
Unsloth Desktop installieren:

{% code collapsedlinecount="10" %}

```bash
brew install --cask unsloth
```

{% endcode %}

Unsloth Desktop aktualisieren:

```bash
brew upgrade --cask unsloth
```

{% endtab %}

{% tab title="WinGet" %}
Unsloth Desktop installieren:

```powershell
winget install --id UnslothAI.Unsloth -e
```

Unsloth Desktop aktualisieren:

```powershell
winget upgrade --id UnslothAI.Unsloth -e
```

{% endtab %}
{% endtabs %}
{% endstep %}

{% step %}

#### **Nemotron 3.5 Bolt einrichten und ausführen**

Gehen Sie zu [Unsloth Chat](/docs/de/neu/studio/chat.md) oder dem Model Hub und suchen Sie nach **Nemotron 3.5 Bolt** in der Suchleiste und laden Sie Ihr gewünschtes Modell und Quant herunter. Jetzt sind Sie bereit, das Modell auszuführen!

Die Inferenzparameter sollten bei Verwendung von Unsloth automatisch gesetzt werden; Sie können sie jedoch weiterhin manuell ändern. Sie können auch die Kontextlänge, die Chat-Vorlage und andere Einstellungen bearbeiten.

Um das Bildverständnis auszuprobieren, hängen Sie eine PNG oder JPEG an und fragen Sie **„Was ist dieses Bild?“**

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FREZvGu7WyeaPxOjmrzPQ%2Fnemotron-bolt-unsloth-desktop.png?alt=media&amp;token=79d73c34-27fa-43b0-8362-99718df43478" alt="" width="375"><figcaption></figcaption></figure>

Weitere Informationen finden Sie in unserer [Unsloth-Inferenzanleitung](/docs/de/neu/studio/chat.md).
{% endstep %}

{% step %}
Nemotron 3.5 Bolt mit der Unsloth-API bereitstellen

Nemotron 3.5 Bolt bereitstellen mit `unsloth run`. Sie können llama-server-Flags für Kontextgröße, GPU-Schichten und andere Einstellungen übergeben. Siehe unsere [API-Dokumentation](https://unsloth.ai/docs/basics/api) oder [unsloth start](https://unsloth.ai/docs/integrations/unsloth-start).

{% code overflow="wrap" %}

```bash
unsloth run --model unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF:IQ2_XXS \
    --ctx-size 4096 --parallel 1 --alias nemotron-bolt \
    --host 127.0.0.1 --port 8001
```

{% endcode %}
{% endstep %}

{% step %}

#### Unsloth ist jetzt bereit

Sie können mit Nemotron 3.5 Bolt über Unsloth Desktop auch viele andere Dinge tun, zum Beispiel:

* **Tools verbinden:** [Claude Code](/docs/de/grundlagen/claude-code.md), [Codex](/docs/de/grundlagen/codex.md), [Websuche](/docs/de/neu/studio/chat.md#advanced-web-search), [MCP](/docs/de/grundlagen/mcp.md) und mehr
* **Modelle trainieren:** Text, Diffusion, [Embedding](/docs/de/grundlagen/embedding-finetuning.md), und mehr
* **Medien generieren:** Erstellen und trainieren [Bilder](/docs/de/grundlagen/diffusion-image.md), Video, [TTS](/docs/de/grundlagen/text-to-speech-tts-fine-tuning.md) lokal
  {% endstep %}
  {% endstepper %}

### KLD-Benchmarks

LAUFEND

#### 🦙 Nemotron 3.5 Bolt in llama.cpp ausführen <a href="#run-nemotron-35-bolt-in-llama.cpp" id="run-nemotron-35-bolt-in-llama.cpp"></a>

{% stepper %}
{% step %}
**llama.cpp kompilieren**

Installieren Sie die neueste Version von llama.cpp. Sie können auch die folgenden Build-Anweisungen befolgen. Ändern Sie `-DGGML_CUDA=ON` zu `-DGGML_CUDA=OFF` wenn Sie keine GPU haben oder einfach nur CPU-Inferenz möchten. **Für Apple Mac / Metal-Geräte**, setzen Sie `-DGGML_CUDA=OFF` und fahren Sie dann wie gewohnt fort - Metal-Unterstützung ist standardmäßig aktiviert.

```bash
apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp
```

Für Video werden beide benötigt `ffmpeg` und `ffprobe` in Ihrem PATH benötigt. Fahren Sie mit den folgenden Befehlen von diesem `llama.cpp` Verzeichnis fort.
{% endstep %}

{% step %}
**Laden Sie das Unsloth-GGUF herunter**

Herunterladen `IQ2_XXS` und den Vision-Projektor für Bild-/Videoeingaben. Ändern Sie unten den Quant-Namen, um eine andere Version herunterzuladen:

{% code overflow="wrap" %}

```bash
python3 -m venv .venv
source .venv/bin/activate
pip install -U huggingface_hub

hf download unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF \
    --local-dir models/nemotron-bolt \
    --include "*IQ2_XXS*.gguf" "*mmproj*.gguf"
```

{% endcode %}

Legen Sie die Pfade zum heruntergeladenen Modell und seinem passenden Projektor fest. Bei einem aufgeteilten GGUF halten Sie alle Shards zusammen und verweisen Sie auf den **ersten Shard**. Passen Sie die untenstehenden Dateinamen an Ihren Download an.

```bash
MODEL_FILE="models/nemotron-bolt/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-IQ2_XXS.gguf"
MMPROJ_FILE="models/nemotron-bolt/mmproj-BF16.gguf"
```

{% endstep %}

{% step %}
**Text und Bilder ausführen**

Für Text:

```bash
./llama.cpp/llama-cli \
    --model "$MODEL_FILE" --ctx-size 4096 \
    --prompt "Erkläre, was ein Vision-Language-Modell macht."
```

Für ein Bild setzen Sie den Pfad zu Ihrer eigenen PNG oder JPEG:

{% code overflow="wrap" %}

```bash
./llama.cpp/llama-mtmd-cli \
    --model "$MODEL_FILE" --mmproj "$MMPROJ_FILE" \
    --ctx-size 4096 \
    --image /path/to/picture.jpg \
    --prompt "Beschreibe dieses Bild und extrahiere jeglichen sichtbaren Text."
```

{% endcode %}
{% endstep %}

{% step %}
**Video ausführen**

Starten Sie die multimodale CLI:

```bash
./llama.cpp/llama-mtmd-cli \
    --model "$MODEL_FILE" --mmproj "$MMPROJ_FILE" \
    --ctx-size 4096
```

Geben Sie dann diese Zeilen ein **in der CLI**:

```
/video /path/to/video.mp4
Fassen Sie das Video zusammen und beschreiben Sie die wichtigsten Ereignisse.
```

Unterstützt MP4-Clips von bis zu 2 Minuten. Verwenden Sie bis zu 1 FPS / 128 Frames bei 1080p oder 2 FPS / 256 Frames bei 720p. Beginnen Sie mit einem kurzen Clip und erhöhen Sie den Kontext bei Bedarf.
{% endstep %}
{% endstepper %}

### Benchmarkwerte

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FHf4Zgb51geMaxzCKvfaF%2Faccuracy.png?alt=media&amp;token=26ede764-8518-4867-8427-0e4171187747" alt=""><figcaption></figcaption></figure>


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://unsloth.ai/docs/de/modelle/nemotron-3.5-bolt.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.