> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/fr/modeles/nemotron-3.5-bolt.md).

# NVIDIA Nemotron 3.5 Bolt : Guide d’exécution locale

Exécutez Nemotron 3.5 Bolt localement avec les GGUF Unsloth.

NVIDIA Nemotron-3.5-Bolt-**E4B** et Nemotron-3.5-Bolt-**74B-A9B** sont de nouveaux modèles ouverts de NVIDIA. Bolt-74B-A9B est un **modèle de 74 milliards de paramètres**, modèle MoE de raisonnement hybride actif de 9 milliards de paramètres, compressé à partir de Super VL. Il prend en charge **le texte, les images et la vidéo**, l'appel d'outils et une **fenêtre de contexte de 128 K** . Exécutez le modèle localement via [Unsloth Desktop](https://unsloth.ai/docs/fr/desktop.md) ou llama.cpp.

Bolt-E4B-4GB est un **modèle de 8 milliards de paramètres** (4 milliards effectifs), modèle basé sur [Gemma 4](https://unsloth.ai/docs/fr/modeles/gemma-4.md) E4B. Il prend en charge une **fenêtre de contexte de 64 K**, l'appel d'outils multi-tours et un raisonnement configurable. Téléchargements : [GGUF Unsloth 74B-A9B](https://huggingface.co/unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF) · [GGUF NVIDIA E4B](https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB).

<a href="https://unsloth.ai/docs/fr/modeles/nemotron-3.5-bolt.md#run-nemotron-35-bolt-guide" class="button primary">Guide pour exécuter Nemotron-3.5-Bolt</a><a href="https://unsloth.ai/docs/fr/modeles/nemotron-3.5-super-vl.md" class="button secondary">Guide Nemotron-3.5-Super-VL</a>

### ⚙️ Guide d'utilisation

**Prérequis pour Nemotron 3.5 Bolt**

Pour **74B-A9B** une utilisation à court contexte, prévoyez environ **32 Go de RAM ou de mémoire unifiée**; **48–64 Go** donne plus de marge. **E4B** fonctionne avec environ **4 Go de VRAM** ou **6 Go de RAM.**

| Modèle / quantification         | Taille du téléchargement | Conseils mémoire             |
| ------------------------------- | ------------------------ | ---------------------------- |
| **E4B** · Q4\_K\_M (4 bits)     | 6,18 Go                  | \~4 Go de VRAM + RAM système |
| **74B-A9B** · IQ2\_XXS (2 bits) | 22 Go                    | 24 à 32 Go de RAM            |

* L'utilisation de la mémoire varie selon le contexte et le runtime. La valeur d'environ 4 Go pour E4B correspond à la VRAM, et non à la RAM totale du système ni à la taille du téléchargement. Le modèle 74B-A9B nécessite de la mémoire supplémentaire pour les images/vidéos et le projecteur de vision. Les tailles de téléchargement concernent les poids GGUF.

{% hint style="info" %}
**74B-A9B** utilise un **LiLiCorr** modèle brouillon dans **NVFP4** (998 Mo) par défaut dans Unsloth pour une sortie plus rapide. Il nécessite environ 1 à 2 Go de mémoire supplémentaires. E4B dispose d'un [rédacteur DFlash](https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB-DFlash).
{% endhint %}

#### Paramètres recommandés

Unsloth configure automatiquement les paramètres d'inférence. Les exemples 74B-A9B utilisent les paramètres d'échantillonnage par défaut. Pour E4B, NVIDIA recommande **température 1.0** et **top\_p 0.95** avec le raisonnement activé ou désactivé.

* **Contexte :** Jusqu'à **128 K pour 74B-A9B** ou **64 K pour E4B**.

### Guide pour exécuter Nemotron 3.5 Bolt <a href="#run-nemotron-35-bolt-guide" id="run-nemotron-35-bolt-guide"></a>

Nous utiliserons le **quant IQ2\_XXS 74B-A9B de 22 Go** dans ce tutoriel.

#### 🦥 Exécutez Nemotron 3.5 Bolt dans Unsloth Desktop <a href="#run-nemotron-35-bolt-in-unsloth-desktop" id="run-nemotron-35-bolt-in-unsloth-desktop"></a>

Exécutez Nemotron 3.5 Bolt directement dans [Unsloth Desktop](https://unsloth.ai/docs/desktop) sur **macOS, Windows et Linux**. Recherchez, téléchargez et discutez avec le modèle dans l'application.

{% stepper %}
{% step %}

#### **Installez Unsloth**

Le moyen le plus simple pour commencer est de télécharger l' [application Unsloth Desktop](https://unsloth.ai/docs/fr/desktop.md).

<a href="https://unsloth.ai/download" class="button primary" data-icon="down-to-bracket">Télécharger Unsloth</a>

* <i class="fa-apple">:apple:</i> [Télécharger pour macOS](https://unsloth.ai/download/mac)
* <i class="fa-windows">:windows:</i> [Télécharger pour Windows](https://unsloth.ai/download/windows)
* <i class="fa-linux">:linux:</i> [Télécharger pour Linux](https://unsloth.ai/download/linux)

Vous pouvez aussi l'installer manuellement :

{% tabs %}
{% tab title="Installation native" %}
**MacOS, Linux, WSL :**

```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```

**Windows :**

```powershell
irm https://unsloth.ai/install.ps1 | iex
```

{% endtab %}

{% tab title="Docker" %}
Le [L'image Docker Unsloth](https://hub.docker.com/r/unsloth/unsloth) `unsloth/unsloth` est disponible sur Docker. [Lire le guide.](https://unsloth.ai/docs/get-started/install/docker)
{% endtab %}

{% tab title="Homebrew" %}
Installer Unsloth Desktop :

{% code collapsedlinecount="10" %}

```bash
brew install --cask unsloth
```

{% endcode %}

Mettre à jour Unsloth Desktop :

```bash
brew upgrade --cask unsloth
```

{% endtab %}

{% tab title="WinGet" %}
Installer Unsloth Desktop :

```powershell
winget install --id UnslothAI.Unsloth -e
```

Mettre à jour Unsloth Desktop :

```powershell
winget upgrade --id UnslothAI.Unsloth -e
```

{% endtab %}
{% endtabs %}
{% endstep %}

{% step %}

#### **Configuration et exécution de Nemotron 3.5 Bolt**

Accédez à [Unsloth Chat](https://unsloth.ai/docs/fr/nouveau/studio/chat.md) ou au hub de modèles et recherchez **Nemotron 3.5 Bolt** dans la barre de recherche, puis téléchargez le modèle et la quantification souhaités. Vous êtes maintenant prêt à exécuter le modèle !

Les paramètres d'inférence devraient être définis automatiquement lors de l'utilisation d'Unsloth, mais vous pouvez toujours les modifier manuellement. Vous pouvez également modifier la longueur du contexte, le template de chat et d'autres paramètres.

Pour essayer la compréhension d'image, joignez un PNG ou un JPEG et demandez **« Quelle est cette image ? »**

<figure><img src="https://550366147-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FREZvGu7WyeaPxOjmrzPQ%2Fnemotron-bolt-unsloth-desktop.png?alt=media&amp;token=79d73c34-27fa-43b0-8362-99718df43478" alt="" width="375"><figcaption></figcaption></figure>

Pour plus d'informations, vous pouvez consulter notre [guide d'inférence Unsloth](https://unsloth.ai/docs/fr/nouveau/studio/chat.md).
{% endstep %}

{% step %}
Servez Nemotron 3.5 Bolt avec l'API Unsloth

Servez Nemotron 3.5 Bolt avec `unsloth run`. Vous pouvez passer des options llama-server pour la taille du contexte, les couches GPU et d'autres paramètres. Modifiez le nom du modèle en conséquence. Consultez notre [documentation API](https://unsloth.ai/docs/basics/api) ou [unsloth start](https://unsloth.ai/docs/integrations/unsloth-start).

{% code overflow="wrap" %}

```bash
unsloth run --model unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF:IQ2_XXS \\
    --ctx-size 4096 --parallel 1 --alias nemotron-bolt \\
    --host 127.0.0.1 --port 8001
```

{% endcode %}
{% endstep %}

{% step %}

#### Unsloth est maintenant prêt

Vous pouvez également faire beaucoup d'autres choses avec Nemotron 3.5 Bolt via Unsloth Desktop, comme :

* **Connecter des outils :** [Claude Code](https://unsloth.ai/docs/fr/notions-de-base/claude-code.md), [Codex](https://unsloth.ai/docs/fr/notions-de-base/codex.md), [recherche web](https://unsloth.ai/docs/fr/nouveau/studio/chat.md#advanced-web-search), [MCP](https://unsloth.ai/docs/fr/notions-de-base/mcp.md) et plus encore
* **Entraîner des modèles :** Ajustez finement le texte, la diffusion, [les embeddings](https://unsloth.ai/docs/fr/notions-de-base/embedding-finetuning.md), et plus encore
* **Générer des médias :** Créez et entraînez [des images](https://unsloth.ai/docs/fr/notions-de-base/diffusion-image.md), des vidéos, [la synthèse vocale](https://unsloth.ai/docs/fr/notions-de-base/text-to-speech-tts-fine-tuning.md) localement
  {% endstep %}
  {% endstepper %}

#### 🦙 Exécutez Nemotron 3.5 Bolt dans llama.cpp <a href="#run-nemotron-35-bolt-in-llama.cpp" id="run-nemotron-35-bolt-in-llama.cpp"></a>

{% stepper %}
{% step %}
**Compiler llama.cpp**

Installez la dernière version de llama.cpp. Vous pouvez également suivre les instructions de compilation ci-dessous. Modifiez `-DGGML_CUDA=ON` en `-DGGML_CUDA=OFF` si vous n'avez pas de GPU ou si vous souhaitez uniquement une inférence sur CPU. **Pour les appareils Apple Mac / Metal**, définissez `-DGGML_CUDA=OFF` puis continuez comme d'habitude - la prise en charge de Metal est activée par défaut.

```bash
apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \\
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp
```

La vidéo nécessite à la fois `ffmpeg` et `ffprobe` dans votre PATH. Poursuivez les commandes ci-dessous à partir de ce `répertoire llama.cpp` .
{% endstep %}

{% step %}
**Téléchargez le GGUF Unsloth**

Télécharger `IQ2_XXS` et le projecteur de vision pour l'entrée image/vidéo. Modifiez le nom de la quantification ci-dessous pour télécharger une autre version :

{% code overflow="wrap" %}

```bash
python3 -m venv .venv
source .venv/bin/activate
pip install -U huggingface_hub

hf download unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF \\
    --local-dir models/nemotron-bolt \\
    --include "*IQ2_XXS*.gguf" "*mmproj*.gguf"
```

{% endcode %}

Définissez les chemins vers le modèle téléchargé et son projecteur correspondant. Pour un GGUF découpé, gardez chaque shard ensemble et pointez vers le **premier shard**. Ajustez les noms de fichiers ci-dessous pour qu'ils correspondent à votre téléchargement.

```bash
MODEL_FILE="models/nemotron-bolt/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-IQ2_XXS.gguf"
MMPROJ_FILE="models/nemotron-bolt/mmproj-BF16.gguf"
```

{% endstep %}

{% step %}
**Exécuter du texte et des images**

Pour le texte :

```bash
./llama.cpp/llama-cli \\
    --model "$MODEL_FILE" --ctx-size 4096 \\
    --prompt "Explique ce que fait un modèle vision-langage."
```

Pour une image, définissez le chemin vers votre propre PNG ou JPEG :

{% code overflow="wrap" %}

```bash
./llama.cpp/llama-mtmd-cli \\
    --model "$MODEL_FILE" --mmproj "$MMPROJ_FILE" \\
    --ctx-size 4096 \\
    --image /path/to/picture.jpg \\
    --prompt "Décrivez cette image et extrayez tout texte visible."
```

{% endcode %}
{% endstep %}

{% step %}
**Exécuter une vidéo**

Démarrez l'interface CLI multimodale :

```bash
./llama.cpp/llama-mtmd-cli \\
    --model "$MODEL_FILE" --mmproj "$MMPROJ_FILE" \\
    --ctx-size 4096
```

Puis saisissez ces lignes **dans la CLI**:

```
/video /path/to/video.mp4
Résumez la vidéo et décrivez les événements clés.
```

Prend en charge les clips MP4 jusqu'à 2 minutes. Utilisez jusqu'à 1 FPS / 128 images à 1080p, ou 2 FPS / 256 images à 720p. Commencez avec un court clip et augmentez le contexte si nécessaire.
{% endstep %}
{% endstepper %}

### Tests de performance

<figure><img src="https://550366147-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FHf4Zgb51geMaxzCKvfaF%2Faccuracy.png?alt=media&amp;token=26ede764-8518-4867-8427-0e4171187747" alt=""><figcaption></figcaption></figure>


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://unsloth.ai/docs/fr/modeles/nemotron-3.5-bolt.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
