> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/fr/modeles/nemotron-3-ultra.md).

# NVIDIA Nemotron 3 Ultra - comment l’exécuter localement

Exécutez Nemotron-3-Ultra-550B-A55B localement sur votre appareil !

NVIDIA Nemotron 3 Ultra est un modèle ouvert **550 milliards de paramètres, 55 milliards actifs** modèle de raisonnement de pointe et est le **plus grand modèle** publié à ce jour. Nemotron-3-Ultra-550B-A55B est conçu pour des agents autonomes de longue durée et le raisonnement à travers des workflows de codage et de recherche approfondie. C'est le **modèle ouvert occidental le plus puissant**, et adopte la nouvelle licence Open Model, Weights & Data.

Avec jusqu'à **1M de contexte**, Nemotron 3 Ultra utilise une architecture hybride Transformer-Mamba MoE et peut conserver l'état de l'agent, les journaux et les plans sur de longues sessions continues. Les GGUF sont en [Nemotron-3-Ultra-550B-A55B](https://huggingface.co/unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B-GGUF) avec le mode dynamique 1 bit qui occupe 189 Go d'espace disque. Il est également préentraîné avec NVFP4. Nous avons également fait [Benchmarks KLD GGUF](#kld-benchmarks).

### ⚙️ Guide d’utilisation

NVIDIA recommande ces paramètres pour l'inférence :

* `température = 1.0`
* `top_p = 0.95`

| Détail                    | Nemotron 3 Ultra                                                                                                          |
| ------------------------- | ------------------------------------------------------------------------------------------------------------------------- |
| Taille du modèle          | 550 milliards de paramètres au total / 55 milliards de paramètres actifs                                                  |
| Longueur de contexte      | Jusqu'à 1M de jetons                                                                                                      |
| Architecture              | Hybrid Transformer-Mamba MoE avec Latent MoE, prédiction multi-jetons (MTP actuellement non pris en charge pour les GGUF) |
| Entrées/sorties du modèle | Entrée texte, sortie texte                                                                                                |

Le modèle de conversation est le suivant :

{% code overflow="wrap" %}

```
<|im_start|>system\n<|im_end|>\n<|im_start|>user\nCombien font 1+1 ?<|im_end|>\n<|im_start|>assistant\n<think></think>2<|im_end|>\n<|im_start|>assistant\n<think>\n
```

{% endcode %}

### Exécuter Nemotron-3-Ultra

Les versions 3 bits du modèle nécessitent environ 256 Go de RAM, 4 bits nécessitent environ 300 Go et 8 bits nécessitent 600 Go. Pour ces guides, nous utiliserons 3 bits `UD-IQ3_XXS` qui tient sur un appareil de 256 Go et offre un bon équilibre entre taille et précision. Selon votre cas d'utilisation, vous devrez utiliser [des paramètres différents](#usage-guide). **GGUF :** [Nemotron-3-Ultra-550B-A55B](https://huggingface.co/unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B-GGUF)

<a href="/docs/fr/modeles/nemotron-3-ultra.md#unsloth-studio-guide" class="button primary">Exécuter dans Unsloth Studio</a><a href="/pages/6a9e6962437d50e1fa3a51a52b54a3231894414d#llama.cpp-tutorial" class="button secondary">Exécuter dans llama.cpp</a>

### 🦥 Guide d’Unsloth Studio

Pour ce tutoriel, nous utiliserons [Unsloth Studio](/docs/fr/nouveau/studio.md), qui est notre interface pour exécuter et entraîner des LLMs. Avec Unsloth Studio, vous pouvez exécuter des modèles et saisir localement des images et du texte sur **Mac, Windows**, et Linux, et :

{% columns %}
{% column %}

* Rechercher, télécharger, [exécuter des GGUF](/docs/fr/nouveau/studio.md#run-models-locally) et des modèles safetensor
* **Comparer** modèles **côte à côte**
* [**Auto-réparation** appel d’outils](/docs/fr/nouveau/studio.md#execute-code--heal-tool-calling) + **recherche web**
* [**exécution de code**](/docs/fr/nouveau/studio.md#run-models-locally) (Python, Bash)
* [Inférence automatique](https://unsloth.ai/docs/desktop#feature-deep-dive) réglage des paramètres (temp, top-p, etc.)
* [Entraîner des LLM](/docs/fr/nouveau/studio.md#no-code-training) 2x plus rapide avec 70 % de VRAM en moins
  {% endcolumn %}

{% column %}

<div data-with-frame="true"><figure><img src="https://550366147-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FFeQ0UUlnjXkDdqhcWglh%2Fskinny%20studio%20chat.png?alt=media&amp;token=c2ee045f-c243-4024-a8e4-bb4dbe7bae79" alt=""><figcaption></figcaption></figure></div>
{% endcolumn %}
{% endcolumns %}

{% stepper %}
{% step %}

#### Installer Unsloth

**MacOS, Linux, WSL :**

```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```

**Windows PowerShell :**

```bash
irm https://unsloth.ai/install.ps1 | iex
```

{% endstep %}

{% step %}

#### Configurer Unsloth Studio (une seule fois)

La configuration installe automatiquement Node.js (via nvm), compile le frontend, installe toutes les dépendances Python et compile llama.cpp avec prise en charge CUDA.

{% hint style="info" %}
**Utilisateurs de WSL :** il vous sera demandé votre `sudo` mot de passe pour installer les dépendances de compilation (`cmake`, `git`, `libcurl4-openssl-dev`).
{% endhint %}
{% endstep %}

{% step %}

#### Lancer Unsloth

**MacOS, Linux, WSL :**

```bash
source unsloth_studio/bin/activate
unsloth studio -H 0.0.0.0 -p 8888
```

**Windows Powershell :**

```bash
unsloth studio
```

<div data-with-frame="true"><figure><img src="https://550366147-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fd1yMMNa65Ccz50Ke0E7r%2FScreenshot%202026-03-17%20at%2012.32.38%E2%80%AFAM.png?alt=media&amp;token=9369cfe7-35b1-4955-b8cb-42f7ecb43780" alt="" width="375"><figcaption></figcaption></figure></div>

Puis ouvrez `http://127.0.0.1:8888` dans votre navigateur.
{% endstep %}

{% step %}

#### Rechercher et télécharger Nemotron-3-Ultra

Au premier lancement, vous devrez créer un mot de passe pour sécuriser votre compte et vous reconnecter plus tard. Ensuite, allez dans l’onglet [Unsloth Chat](/docs/fr/nouveau/studio/chat.md) onglet et recherchez Nemotron-3-Ultra dans la barre de recherche, puis téléchargez le modèle et la quantification souhaités.
{% endstep %}

{% step %}

#### Exécuter Nemotron-3-Ultra

Les paramètres d’inférence devraient être définis automatiquement lors de l’utilisation d’Unsloth Studio, cependant vous pouvez toujours les modifier manuellement. Vous pouvez aussi modifier la longueur du contexte, le modèle de chat et d’autres paramètres.

Pour plus d’informations, vous pouvez consulter notre [guide d’inférence d’Unsloth Studio](/docs/fr/nouveau/studio/chat.md).
{% endstep %}

{% step %}

#### Déploiement de Nemotron-3-Ultra

Vous pouvez aussi utiliser `unsloth studio run` pour servir le modèle via llama-server comme ceci :

{% code overflow="wrap" %}

```bash
unsloth studio run --model unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B-GGUF:UD-Q4_K_XL
```

{% endcode %}
{% endstep %}
{% endstepper %}

### 🦙 Tutoriel Llama.cpp :

Instructions pour l'exécuter dans llama.cpp (notez que nous utiliserons du 4 bits pour s'adapter à la plupart des appareils) :

{% stepper %}
{% step %}
Obtenez la dernière version `llama.cpp` sur [GitHub ici](https://github.com/ggml-org/llama.cpp). Vous pouvez également suivre les instructions de compilation ci-dessous. Modifiez `-DGGML_CUDA=ON` à `-DGGML_CUDA=OFF` si vous n'avez pas de GPU ou si vous souhaitez simplement une inférence CPU. **Pour les appareils Apple Mac / Metal**, définissez `-DGGML_CUDA=OFF` puis continuez comme d'habitude - la prise en charge de Metal est activée par défaut.

{% code overflow="wrap" %}

```bash
apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp
```

{% endcode %}
{% endstep %}

{% step %}
Téléchargez le modèle avec le code ci-dessous (après avoir installé `pip install huggingface_hub`). Vous pouvez choisir Q4\_K\_M ou d’autres versions quantifiées comme `UD-Q4_K_XL` . Nous recommandons d’utiliser au moins une quantification dynamique 2 bits `UD-Q2_K_XL` pour équilibrer la taille et la précision. Si les téléchargements se bloquent, voir : [Débogage de Hugging Face Hub et XET](/docs/fr/notions-de-base/troubleshooting-and-faqs/hugging-face-hub-xet-debugging.md)

{% code overflow="wrap" %}

```bash
pip install huggingface_hub
hf download unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B-GGUF \
    --local-dir unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B-GGUF \
    --include "*UD-IQ3_XXS*" # Utilisez "*UD-Q2_K_XL*" pour le 2 bits dynamique
```

{% endcode %}
{% endstep %}

{% step %}
Puis exécutez le modèle en mode conversation :

{% code overflow="wrap" %}

```bash
./llama.cpp/llama-cli \
    --model unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B-GGUF/UD-IQ3_XXS/NVIDIA-Nemotron-3-Ultra-550B-A55B-UD-IQ3_XXS-00001-of-00006.gguf \
    --temp 1.0 \
    --top-p 0.95 \
    --min-p 0.01
```

{% endcode %}
{% endstep %}
{% endstepper %}

#### Service et déploiement de llama-server

Pour déployer Nemotron-3-Ultra localement, utilisez `llama-server`. Dans un nouveau terminal, par exemple via `tmux`, déployez le modèle :

```bash
./llama.cpp/llama-server \
    -hf unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B-GGUF:UD-IQ3_XXS \
    --alias "unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B" \
    --temp 1.0 \
    --top-p 0.95 \
    --port 8001
```

Si vous avez téléchargé le modèle manuellement, utilisez :

{% code overflow="wrap" %}

```bash
./llama.cpp/llama-server \
    --model unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B-GGUF/UD-IQ3_XXS/NVIDIA-Nemotron-3-Ultra-550B-A55B-UD-IQ3_XXS-00001-of-00006.gguf \
    --alias "unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B" \
    --temp 1.0 \
    --top-p 0.95 \
    --port 8001
```

{% endcode %}

Ensuite, dans un nouveau terminal, après avoir installé le client OpenAI avec `pip install openai`:

```python
from openai import OpenAI
openai_client = OpenAI(
    base_url = "http://127.0.0.1:8001/v1",
    api_key = "sk-no-key-required",
)
completion = openai_client.chat.completions.create(
    model = "unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B",
    messages = [
        {"role": "user", "content": "Combien font 2+2 ?"},
    ],
)
print(completion.choices[0].message.reasoning_content)
print(completion.choices[0].message.content)
```

<figure><img src="https://550366147-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FFv2YM2wVoi8GahkMJ6Rj%2Fimage.png?alt=media&amp;token=4c164f36-09df-4411-9e34-f039618734da" alt=""><figcaption></figcaption></figure>

Et sur 4 B200, environ 40 jetons/s sont observés pour la génération !

<figure><img src="https://550366147-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FVtI0eFHqFSwMn07q7OcN%2Fimage.png?alt=media&amp;token=dea79517-b938-4a1f-a548-251a1a744664" alt=""><figcaption></figcaption></figure>

### Benchmarks GGUF d'Unsloth

Nous avons également réalisé une analyse KLD pour nos quantifications GGUF - sur une échelle KLD de moyenne logarithmique, le modèle perd très peu de précision même quantifié jusqu'à 1 bit grâce à notre [méthodologie dynamique](/docs/fr/notions-de-base/dynamic-3.0-ggufs.md) où les couches les plus importantes sont laissées dans une précision plus élevée et le reste dans des bits plus faibles.

<figure><img src="https://550366147-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FhXQfbg0YChpteU7ckumo%2FNemotron-3-Ultra-550B-A55B_mean_kld.png?alt=media&amp;token=1a0282f9-2dc4-4814-adfc-507568dffe3c" alt=""><figcaption></figcaption></figure>

Pour une échelle linéaire :

<figure><img src="https://550366147-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FAozlIWwNjBZtBtNrZCHi%2FNemotron-3-Ultra-550B-A55B_mean_kld_linear(1).png?alt=media&amp;token=24eef28f-875f-4cca-a1c5-d5c1d9dfca3e" alt=""><figcaption></figcaption></figure>

### Benchmarks officiels

Nemotron 3 Ultra est le plus grand modèle de raisonnement Nemotron 3 de NVIDIA et est positionné pour offrir une précision de pointe sur les tâches de raisonnement, de codage et agentiques tout en optimisant le temps nécessaire à l'achèvement des tâches grâce à un débit élevé.

Ultra est particulièrement adapté aux charges de travail où la réussite de la tâche dépend d'un raisonnement soutenu plutôt que de courtes réponses en un seul tour :

* Sessions de codage autonomes sur de vastes dépôts
* Recherche approfondie à travers de nombreuses sources avec des preuves contradictoires
* Flux de travail d'entreprise avec boucles persistantes d'utilisation d'outils
* Vérification de conception de circuits / puces et analyse des défaillances

Comme le montrent la figure 1 et la figure 2, Nemotron 3 Ultra arrive en tête en précision sur la productivité des agents, le suivi des instructions et les tâches à long contexte, et offre un débit de pointe, tout en réduisant les coûts de 30 % par rapport à d'autres modèles ouverts de premier plan.&#x20;

Figure 1 : Nemotron 3 Ultra arrive en tête parmi les modèles ouverts sur les benchmarks agentiques pour la productivité des agents, le codage et le suivi des instructions.

<div align="center" data-with-frame="true"><figure><img src="https://550366147-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F4F60OX0ekFhMD5ZxDGbD%2Funknown.png?alt=media&amp;token=c2efaf97-3079-441b-b3a9-1126c2a559da" alt="Image of a table showing Nemotron 3 Ultra leading among open models on agentic benchmarks for agent productivity, coding, and instruction following." width="536"><figcaption></figcaption></figure></div>

Figure 2 : Nemotron 3 Ultra permet d'économiser jusqu'à 30 % des coûts et domine la frontière d'efficacité des coûts

<div data-with-frame="true"><img src="https://550366147-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FVFBIbSLLNRi9Lhq9Hh1l%2Funknown.png?alt=media&amp;token=0a4b0666-efeb-4922-8feb-b1cba47303fc" alt="Image montrant que Nemotron 3 Ultra permet d&#x27;économiser jusqu&#x27;à 30 % des coûts et domine la frontière d&#x27;efficacité des coûts" width="563"></div>

Davantage de benchmarks de NVIDIA :

| Benchmark                                      | N-3-Ultra 550B-A55B | MiniMax-2.7 230B-A10B | GLM-5.1 744B-A40B | Kimi-K2.6 1T-A32B |       |       |      |
| ---------------------------------------------- | :-----------------: | :-------------------: | :---------------: | :---------------: | :---: | :---: | :--: |
| **Agentique**                                  |                     |                       |                   |                   |       |       |      |
| Terminal Bench 2.1                             |         56.4        |          55.5         |        59.3       |        67.2       |  49.9 |  49.2 | 54.2 |
| GDPVal                                         |         46.7        |          47.6         |        54.7       |        50.4       |  34.6 |  54.6 | 50.2 |
| SWE-Bench Verified                             |         71.9        |          72.2         |        73.8       |        69.5       |  69.9 |  74.0 | 72.4 |
| SWE-Bench multilingue                          |         67.7        |          69.2         |        73.8       |        65.9       |  67.7 |  71.9 | 72.1 |
| ProfBench (recherche)                          |         56.0        |          52.0         |        46.0       |        56.0       |  53.0 |  59.9 | 57.0 |
| PinchBench                                     |         90.0        |          77.6         |        81.2       |        90.2       |  86.6 |  88.6 | 91.3 |
| TauBench V3                                    |                     |                       |                   |                   |       |       |      |
| Compagnies aériennes                           |         81.5        |          75.3         |        85.0       |        85.8       |  76.5 |  80.8 | 80.8 |
| Commerce de détail                             |         86.4        |          84.9         |        84.1       |        82.9       |  88.5 |  88.9 | 89.1 |
| Télécom                                        |         92.9        |          89.6         |        96.9       |        97.8       |  98.0 |  96.3 | 98.3 |
| Services bancaires                             |         22.6        |          14.6         |        12.8       |        23.1       |  20.9 |  25.9 | 26.7 |
| Moyenne                                        |         70.9        |          66.1         |        69.7       |        72.4       |  71.0 |  73.2 | 73.7 |
| BrowseComp                                     |         44.4        |          54.1         |        59.4       |        61.3       |  40.5 |  59.4 | 46.9 |
| Agent financier Vals.ai 1.1                    |                     |                       |                   |                   |       |       |      |
| sans recherche web                             |         60.1        |          51.3         |        60.2       |        54.0       |  61.3 |  58.9 | 58.4 |
| avec recherche web                             |         53.7        |          50.5         |        60.7       |        58.8       |  59.0 |  62.3 | 60.1 |
| **Raisonnement et connaissances**              |                     |                       |                   |                   |       |       |      |
| IOI 2025                                       |        570.0        |           --          |       456.5       |       585.0       | 441.3 | 580.1 |  --  |
| LiveCodeBench (v6)                             |         89.0        |          77.2         |        85.7       |        90.2       |  79.3 |  92.5 | 90.9 |
| IMOAnswerBench (sans outils)                   |         88.6        |          68.3         |        86.8       |        91.1       |  83.1 |  93.0 | 91.1 |
| IMOAnswerBench (avec outils)                   |         92.3        |          75.1         |        91.1       |       93.71       | 84.51 |  85.4 | 89.6 |
| Apex-Shortlist (sans outils)                   |         74.9        |          28.9         |        71.1       |        77.4       |  61.4 |  85.8 | 82.4 |
| Apex-Shortlist (avec outils)                   |         84.8        |          51.9         |        79.0       |        73.2       |  60.4 |  86.5 | 82.0 |
| GPQA (sans outils)                             |         87.0        |          86.6         |        86.1       |        91.0       |  87.1 |  87.8 | 88.5 |
| SciCode (sous-tâche)                           |         44.6        |          38.3         |        47.7       |        52.0       |  48.0 |  50.5 | 48.2 |
| HLE (sans outils)                              |         26.7        |          23.1         |        27.2       |        34.8       |  28.5 |  37.7 | 32.2 |
| HLE (avec outils)                              |         37.4        |           --          |        50.4       |        54.0       |  48.3 |  48.2 | 45.1 |
| CritPt (sans outils)                           |         3.1         |          0.6          |        3.7        |        9.1        |  2.4  |  14.0 | 10.6 |
| MMLU-Pro                                       |         86.8        |          81.9         |        85.9       |        88.1       |  88.3 |  87.5 | 86.4 |
| Exactitude OmniScience                         |         24.1        |          20.5         |        31.3       |        35.5       |  35.9 |  46.8 | 39.9 |
| Non-hallucination OmniScience                  |         78.7        |          74.4         |        66.8       |        67.1       |  7.4  |  5.7  |  2.8 |
| **Discussion et suivi des instructions**       |                     |                       |                   |                   |       |       |      |
| IFBench (invite souple)                        |         81.7        |          74.6         |        76.6       |        73.7       |  78.2 |  79.1 | 82.0 |
| Multi-défi                                     |         63.8        |          42.5         |        63.0       |        63.1       |  63.9 |  64.1 | 63.5 |
| **Long contexte**                              |                     |                       |                   |                   |       |       |      |
| AA-LCR                                         |         65.4        |          69.8         |        66.9       |        70.2       |  68.3 |  67.3 | 62.7 |
| RULER (1M)                                     |         94.7        |           --          |         --        |         --        |  90.1 |  94.2 | 87.7 |
| Longbench v2 (≤ 1M)                            |         61.9        |           --          |         --        |         --        |  68.9 |  62.1 | 57.0 |
| **Multilingue**                                |                     |                       |                   |                   |       |       |      |
| MMLU-ProX (moy. en/de/fr/es/it/ja/zh/hi/pt/ko) |         83.0        |          78.4         |        85.8       |        85.0       |  86.4 |  85.6 | 84.3 |
| WMT24++ (en→xx)                                |         83.7        |          82.8         |        84.4       |        84.5       |  86.8 |  85.9 | 85.9 |


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://unsloth.ai/docs/fr/modeles/nemotron-3-ultra.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.