> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/fr/modeles/nemotron-3.5-bolt.md). # NVIDIA Nemotron 3.5 Bolt : Guide d’exécution locale Exécutez Nemotron 3.5 Bolt localement avec les GGUF Unsloth. NVIDIA Nemotron-3.5-Bolt-74B-A9B est un **modèle de 74B paramètres, 9B actifs** modèle MoE de raisonnement hybride compressé à partir de Super VL. Il prend en charge **le texte, les images et la vidéo**, l’appel d’outils et une **fenêtre de contexte de 128 K** Les quantifications d’Unsloth peuvent s’exécuter localement dans Unsloth Desktop ou llama.cpp. Son **architecture Hybrid LatentMoE** combine Mamba-2, l’attention et des couches Mixture-of-Experts. La version IQ2 de NVIDIA stocke la plupart des poids des experts en **2,06 bits IQ2\_XXS**, tout en conservant les couches Mamba en NVFP4 et la tête de sortie en Q8\_0. **Quantifications Unsloth :** [NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF](https://huggingface.co/unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF) Guide d’exécution de Nemotron-3.5-BoltGuide de Nemotron-3.5-Super-VL ### **⚙️ Guide d’utilisation** **Exigences pour Nemotron 3.5 Bolt** Pour un usage à contexte court, prévoyez environ **32 Go de RAM ou de mémoire unifiée**; **48–64 Go** offrent plus de marge. Bolt est disponible en **1 bit et 2 bits**: | Quantification | Taille du téléchargement | RAM minimale estimée | | ----------------- | ------------------------ | -------------------- | | 2 bits · IQ2\_XXS | 22 Go | 24–32 Go | * Les valeurs de mémoire sont des estimations pour un usage à contexte court. Des contextes plus longs ainsi que les images/vidéos nécessitent de la mémoire supplémentaire pour le cache et le projecteur de vision. Les tailles de téléchargement concernent les poids GGUF. {% hint style="info" %} Nemotron 3.5 Bolt utilise un **LiLiCorr** modèle de brouillon en **NVFP4** (998 Mo) par défaut dans Unsloth pour une sortie plus rapide. Il nécessite environ 1 à 2 Go de mémoire supplémentaire. {% endhint %} #### Paramètres recommandés Unsloth configure automatiquement les paramètres d’inférence. Les exemples llama.cpp utilisent les paramètres d’échantillonnage par défaut, car NVIDIA n’a pas spécifié de valeurs de température ou de top-p propres à Bolt. * **Contexte :** Commencez avec 4 K et augmentez selon la mémoire disponible, jusqu’à 128 K tokens. * **Modèle de chat :** Utilisez le gabarit inclus avec le modèle. ### Guide d’exécution de Nemotron 3.5 Bolt Nous utiliserons le **22 Go `IQ2_XXS`** quantification dans ce tutoriel. #### 🦥 Exécuter Nemotron 3.5 Bolt dans Unsloth Desktop Exécutez Nemotron 3.5 Bolt directement dans [Unsloth Desktop](https://unsloth.ai/docs/desktop) sur **macOS, Windows et Linux**. Recherchez, téléchargez et discutez avec le modèle dans l’application. {% stepper %} {% step %} #### **Installer Unsloth** Le moyen le plus simple de commencer est de télécharger l’ [application Unsloth Desktop](/docs/fr/desktop.md). Télécharger Unsloth * :apple: [Télécharger pour macOS](https://unsloth.ai/download/mac) * :windows: [Télécharger pour Windows](https://unsloth.ai/download/windows) * :linux: [Télécharger pour Linux](https://unsloth.ai/download/linux) Vous pouvez aussi l’installer manuellement : {% tabs %} {% tab title="Installation native" %} **MacOS, Linux, WSL :** ```bash curl -fsSL https://unsloth.ai/install.sh | sh ``` **Windows :** ```powershell irm https://unsloth.ai/install.ps1 | iex ``` {% endtab %} {% tab title="Docker" %} Le [L'image Docker Unsloth](https://hub.docker.com/r/unsloth/unsloth) `unsloth/unsloth` est disponible sur Docker. [Lire le guide.](https://unsloth.ai/docs/get-started/install/docker) {% endtab %} {% tab title="Homebrew" %} Installer Unsloth Desktop : {% code collapsedlinecount="10" %} ```bash brew install --cask unsloth ``` {% endcode %} Mettre à jour Unsloth Desktop : ```bash brew upgrade --cask unsloth ``` {% endtab %} {% tab title="WinGet" %} Installer Unsloth Desktop : ```powershell winget install --id UnslothAI.Unsloth -e ``` Mettre à jour Unsloth Desktop : ```powershell winget upgrade --id UnslothAI.Unsloth -e ``` {% endtab %} {% endtabs %} {% endstep %} {% step %} #### **Configurer et exécuter Nemotron 3.5 Bolt** Allez dans [Unsloth Chat](/docs/fr/nouveau/studio/chat.md) ou Model hub et recherchez **Nemotron 3.5 Bolt** dans la barre de recherche et téléchargez le modèle et la quantification de votre choix. Vous êtes maintenant prêt à exécuter le modèle ! Les paramètres d’inférence doivent être configurés automatiquement lors de l’utilisation d’Unsloth ; cependant, vous pouvez toujours les modifier manuellement. Vous pouvez aussi modifier la longueur du contexte, le gabarit de chat et d’autres paramètres. Pour essayer la compréhension d’image, joignez un PNG ou un JPEG et demandez **« Quelle est cette image ? »**
Pour plus d’informations, vous pouvez consulter notre [guide d’inférence d’Unsloth](/docs/fr/nouveau/studio/chat.md). {% endstep %} {% step %} Servir Nemotron 3.5 Bolt avec l’API Unsloth Servir Nemotron 3.5 Bolt avec `unsloth run`. Vous pouvez passer des options llama-server pour la taille du contexte, les couches GPU et d’autres paramètres. Consultez notre [documentation de l’API](https://unsloth.ai/docs/basics/api) ou [unsloth start](https://unsloth.ai/docs/integrations/unsloth-start). {% code overflow="wrap" %} ```bash unsloth run --model unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF:IQ2_XXS \\ --ctx-size 4096 --parallel 1 --alias nemotron-bolt \\ --host 127.0.0.1 --port 8001 ``` {% endcode %} {% endstep %} {% step %} #### Unsloth est maintenant prêt Vous pouvez aussi faire beaucoup d’autres choses avec Nemotron 3.5 Bolt via Unsloth Desktop, comme : * **Connecter des outils :** [Claude Code](/docs/fr/notions-de-base/claude-code.md), [Codex](/docs/fr/notions-de-base/codex.md), [recherche web](/docs/fr/nouveau/studio/chat.md#advanced-web-search), [MCP](/docs/fr/notions-de-base/mcp.md) et plus encore * **Entraîner des modèles :** Ajustez finement du texte, de la diffusion, [des embeddings](/docs/fr/notions-de-base/embedding-finetuning.md), et plus encore * **Générer des médias :** Créer et entraîner [des images](/docs/fr/notions-de-base/diffusion-image.md), des vidéos, [TTS](/docs/fr/notions-de-base/text-to-speech-tts-fine-tuning.md) en local {% endstep %} {% endstepper %} ### Tests de performance KLD EN COURS #### 🦙 Exécuter Nemotron 3.5 Bolt dans llama.cpp {% stepper %} {% step %} **Compiler llama.cpp** Installez la dernière version de llama.cpp. Vous pouvez également suivre les instructions de compilation ci-dessous. Modifiez `-DGGML_CUDA=ON` en `-DGGML_CUDA=OFF` si vous n’avez pas de GPU ou si vous souhaitez simplement une inférence CPU. **Pour les appareils Apple Mac / Metal**, définissez `-DGGML_CUDA=OFF` puis continuez comme d’habitude - la prise en charge de Metal est activée par défaut. ```bash apt-get update apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y git clone https://github.com/ggml-org/llama.cpp cmake llama.cpp -B llama.cpp/build \\ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpp ``` La vidéo nécessite à la fois `ffmpeg` et `ffprobe` dans votre PATH. Poursuivez les commandes ci-dessous à partir de ce `llama.cpp` répertoire. {% endstep %} {% step %} **Télécharger le GGUF d’Unsloth** Télécharger `IQ2_XXS` et le projecteur de vision pour l’entrée image/vidéo. Changez le nom de la quantification ci-dessous pour télécharger une autre version : {% code overflow="wrap" %} ```bash python3 -m venv .venv source .venv/bin/activate pip install -U huggingface_hub hf download unsloth/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF \\ --local-dir models/nemotron-bolt \\ --include "*IQ2_XXS*.gguf" "*mmproj*.gguf" ``` {% endcode %} Définissez les chemins vers le modèle téléchargé et son projecteur correspondant. Pour un GGUF réparti, conservez chaque fragment ensemble et pointez vers le **premier fragment**. Ajustez les noms de fichiers ci-dessous pour correspondre à votre téléchargement. ```bash MODEL_FILE="models/nemotron-bolt/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-IQ2_XXS.gguf" MMPROJ_FILE="models/nemotron-bolt/mmproj-BF16.gguf" ``` {% endstep %} {% step %} **Exécuter du texte et des images** Pour le texte : ```bash ./llama.cpp/llama-cli \\ --model "$MODEL_FILE" --ctx-size 4096 \\ --prompt "Explique ce que fait un modèle vision-langage." ``` Pour une image, définissez le chemin vers votre propre PNG ou JPEG : {% code overflow="wrap" %} ```bash ./llama.cpp/llama-mtmd-cli \\ --model "$MODEL_FILE" --mmproj "$MMPROJ_FILE" \\ --ctx-size 4096 \\ --image /path/to/picture.jpg \\ --prompt "Décrivez cette image et extrayez tout texte visible." ``` {% endcode %} {% endstep %} {% step %} **Exécuter une vidéo** Démarrez l’interface CLI multimodale : ```bash ./llama.cpp/llama-mtmd-cli \\ --model "$MODEL_FILE" --mmproj "$MMPROJ_FILE" \\ --ctx-size 4096 ``` Puis saisissez ces lignes **dans la CLI**: ``` /video /path/to/video.mp4 Résumez la vidéo et décrivez les événements clés. ``` Prend en charge les clips MP4 jusqu’à 2 minutes. Utilisez jusqu’à 1 FPS / 128 images à 1080p, ou 2 FPS / 256 images à 720p. Commencez par un court clip et augmentez le contexte selon les besoins. {% endstep %} {% endstepper %} ### Tests de performance
--- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation by asking a question. Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters: ``` GET https://unsloth.ai/docs/fr/modeles/nemotron-3.5-bolt.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.