> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/fr/modeles/nemotron-3/nemotron-3-super.md). # NVIDIA Nemotron-3-Super : guide d'exécution Exécutez et fine-tunez NVIDIA Nemotron-3-Super-120B-A12B localement sur votre appareil ! NVIDIA publie **Nemotron-3-Super-120B-A12B**, un modèle MoE de raisonnement hybride ouvert de 120B avec 12B de paramètres actifs, à la suite du lancement précédent de [Nemotron-3-Nano](/docs/fr/modeles/nemotron-3.md), son homologue de 30B. Nemotron-3-Super est conçu pour une grande efficacité et une grande précision pour l’IA multi-agent. Avec une **1M de tokens** fenêtre contextuelle, il domine sa catégorie sur les benchmarks AIME 2025, Terminal Bench et SWE-Bench Verified, tout en atteignant le débit le plus élevé. Nemotron-3-Super fonctionne sur un appareil disposant de **64 Go** de RAM, de VRAM ou de mémoire unifiée et peut désormais être ajusté localement. Merci à NVIDIA d’avoir offert à Unsloth une prise en charge dès le premier jour. Nemotron 3 SuperNemotron 3 Nano GGUF : [Nemotron-3-Super-120B-A12B-GGUF](https://huggingface.co/unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-GGUF) • [NVFP4](https://huggingface.co/unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-NVFP4) • [FP8](https://huggingface.co/unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-FP8) • [BF16](https://huggingface.co/unsloth/NVIDIA-Nemotron-3-Super-120B-A12B) ### ⚙️ Guide d’utilisation NVIDIA recommande ces paramètres pour l'inférence : {% columns %} {% column %} **Chat/instructions générales (par défaut) :** * `température = 1.0` * `top_p = 1.0` {% endcolumn %} {% column %} **Cas d’utilisation de l’appel d’outils :** * `temperature = 0.6` * `top_p = 0.95` {% endcolumn %} {% endcolumns %} **Pour la plupart des utilisations locales, définissez :** * `max_new_tokens` = `32,768` à `262,144` pour les prompts standard avec un maximum de 1 M de tokens * Augmentez-le pour un raisonnement approfondi ou une génération longue, selon les capacités de votre RAM/VRAM. Le format du modèle de conversation se retrouve lorsque nous utilisons ce qui suit : {% code overflow="wrap" %} ```python tokenizer.apply_chat_template([ {"role" : "user", "content" : "Quel est 1+1 ?"}, {"role" : "assistant", "content" : "2"}, {"role" : "user", "content" : "Combien font 2+2 ?"} ], add_generation_prompt = True, tokenize = False, ) ``` {% endcode %} {% hint style="success" %} Comme le modèle a été entraîné avec NoPE, vous n’avez qu’à modifier `max_position_embeddings`. Le modèle n’utilise pas d’embeddings positionnels explicites, donc YaRN n’est pas nécessaire. {% endhint %} #### Format du template de chat Nemotron 3 : {% hint style="info" %} Nemotron 3 utilise `` avec l’ID de token 12 et `` avec l’ID de token 13 pour le raisonnement. Utilisez `--special` pour voir les tokens pour llama.cpp. Vous pourriez aussi avoir besoin de `--verbose-prompt` pour voir `` puisqu’il est ajouté au début. {% endhint %} {% code overflow="wrap" lineNumbers="true" %} ``` <|im_start|>system\n<|im_end|>\n<|im_start|>user\nCombien font 1+1 ?<|im_end|>\n<|im_start|>assistant\n2<|im_end|>\n<|im_start|>user\nCombien font 2+2 ?<|im_end|>\n<|im_start|>assistant\n\n ``` {% endcode %} ### 🖥️ Exécuter Nemotron-3-Super-120B-A12B Selon votre cas d’utilisation, vous devrez utiliser différents paramètres. Certains GGUF finissent par avoir une taille similaire parce que l’architecture du modèle (comme [gpt-oss](/docs/fr/modeles/gpt-oss-how-to-run-and-fine-tune.md)) a des dimensions non divisibles par 128, donc certaines parties ne peuvent pas être quantifiées à des bits inférieurs. Accédez aux GGUF [ici](https://huggingface.co/unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-GGUF). Les versions 4 bits du modèle nécessitent environ 64 Go à 72 Go de RAM. La version 8 bits nécessite 128 Go. #### Tutoriel Llama.cpp (GGUF) : Instructions pour l'exécuter dans llama.cpp (notez que nous utiliserons du 4 bits pour s'adapter à la plupart des appareils) : {% stepper %} {% step %} Obtenez la dernière version `llama.cpp` sur [GitHub ici](https://github.com/ggml-org/llama.cpp). Vous pouvez également suivre les instructions de compilation ci-dessous. Modifiez `-DGGML_CUDA=ON` à `-DGGML_CUDA=OFF` si vous n'avez pas de GPU ou si vous souhaitez simplement une inférence CPU. {% code overflow="wrap" %} ```bash apt-get update apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y git clone https://github.com/ggml-org/llama.cpp cmake llama.cpp -B llama.cpp/build \ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpp ``` {% endcode %} {% endstep %} {% step %} Vous pouvez le télécharger directement depuis Hugging Face. Vous pouvez augmenter le contexte jusqu’à 1 M selon la capacité de votre RAM/VRAM. Suivez ceci pour **instruction générale** cas d'utilisation : ```bash ./llama.cpp/llama-cli \ -hf unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-GGUF:UD-Q4_K_XL \\ --ctx-size 16384 \ --temp 1.0 --top-p 1.0 ``` Suivez ceci pour **appel d'outils** cas d'utilisation : ```bash ./llama.cpp/llama-cli \ -hf unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-GGUF:UD-Q4_K_XL \\ --ctx-size 32768 \\ --temp 0.6 --top-p 0.95 ``` {% endstep %} {% step %} Téléchargez le modèle via (après avoir installé `pip install huggingface_hub hf_transfer` ). Vous pouvez choisir Q4\_K\_M ou d’autres versions quantifiées comme `UD-Q4_K_XL` . Nous recommandons d’utiliser au moins une quantification dynamique 2 bits `UD-Q2_K_XL` pour équilibrer la taille et la précision. Si les téléchargements se bloquent, voir : [Débogage de Hugging Face Hub et XET](/docs/fr/notions-de-base/troubleshooting-and-faqs/hugging-face-hub-xet-debugging.md) ```bash hf download unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-GGUF \\ --local-dir unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-GGUF \\ --include "*UD-Q4_K_XL*" # Utilisez "*UD-Q2_K_XL*" pour le Dynamic 2 bits ``` {% endstep %} {% step %} Puis exécutez le modèle en mode conversation : {% code overflow="wrap" %} ```bash /llama.cpp/llama-cli \\ --model unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-GGUF/UD-Q4_K_XL/NVIDIA-Nemotron-3-Super-120B-A12B-UD-Q4_K_XL-00001-of-00003.gguf \\ --ctx-size 16384 \ --seed 3407 \ --prio 2 \ --temp 0.6 \ --top-p 0.95 ``` {% endcode %}
Ajustez également **la fenêtre de contexte** si nécessaire. Assurez-vous que votre matériel peut gérer une fenêtre de contexte de plus de 256 K. La régler à 1 M peut déclencher une erreur CUDA OOM et provoquer un crash, c’est pourquoi la valeur par défaut est 262 144. {% endstep %} {% endstepper %} ### 🦥 Ajustement fin de Nemotron 3 et RL Unsloth prend désormais en charge l’ajustement fin de tous les modèles Nemotron, y compris Nemotron 3 Super et Nano. Pour des exemples de notebooks de Nano, consultez notre guide Nemotron 3 [guide d’ajustement fin Nano](/docs/fr/modeles/nemotron-3.md). #### Nemotron 3 Super * Le fine-tuning de la couche routeuse est désactivé par défaut pour des raisons de stabilité. * Nemotron-3-Super-120B - LoRA bf16 fonctionne avec 256 Go de VRAM. Si vous utilisez plusieurs GPU, ajoutez `device_map = "balanced"` ou suivez notre [guide multiGPU](/docs/fr/notions-de-base/multi-gpu-training-with-unsloth.md). ### 🦙Service et déploiement avec Llama-server Pour déployer Nemotron 3 en production, nous utilisons `llama-server` Dans un nouveau terminal, par exemple via tmux, déployez le modèle avec : {% code overflow="wrap" %} ```bash ./llama.cpp/llama-server \ --model unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-GGUF/UD-Q4_K_XL/NVIDIA-Nemotron-3-Super-120B-A12B-UD-Q4_K_XL-00001-of-00003.gguf \\ --alias "unsloth/NVIDIA-Nemotron-3-Super-120B-A12B" \\ --prio 3 \ --min-p 0.01 \ --temp 0.6 \ --top-p 0.95 \ --ctx-size 16384 \ --port 8001 ``` {% endcode %} Lorsque vous exécutez ce qui précède, vous obtiendrez :
Ensuite, dans un nouveau terminal, après avoir exécuté `pip install openai`, faites : {% code overflow="wrap" %} ```python from openai import OpenAI import json openai_client = OpenAI( base_url = "http://127.0.0.1:8001/v1", api_key = "sk-no-key-required", ) completion = openai_client.chat.completions.create( model = "unsloth/NVIDIA-Nemotron-3-Super-120B-A12B", messages = [{"role": "user", "content": "Combien font 2+2 ?"},], ) print(completion.choices[0].message.reasoning_content) print(completion.choices[0].message.content) ``` {% endcode %} Ce qui affichera {% code overflow="wrap" %} ``` D’accord, l’utilisateur a demandé « Combien font 2+2 ? » Cela ressemble à une question d’arithmétique très basique. Hmm, peut-être qu’ils testent si je fais attention, ou peut-être qu’il s’agit d’un jeune enfant qui apprend les maths. Cela pourrait aussi être quelqu’un qui vérifie si je vais compliquer inutilement une question simple. Je devrais rester simple puisqu’il n’y a aucun indice de piège dans la question. La réponse est définitivement 4 — pas besoin de remettre en question une addition de base. Même si une partie de moi se demande s’ils préparent une blague (du genre « 2+2=5 pour de grandes valeurs de 2 »), comme ils n’ont donné aucun contexte, je partirai du principe qu’il s’agit d’une vraie question. Mieux vaut répondre clairement et chaleureusement — cela pourrait les encourager à poser d’autres questions s’ils apprennent. Pas besoin de fioritures toutefois ; il suffit d’énoncer le fait utilement. 2 + 2 vaut **4**. C’est un fait fondamental de l’arithmétique en notation base 10 (décimale). Si vous demandez cela dans un autre contexte (comme l’arithmétique modulaire, le binaire ou une blague/référence), n’hésitez pas à préciser — je serai ravi de m’adapter ! 😊 ``` {% endcode %} ### Benchmarks Comparé à des modèles de taille similaire, Nemotron 3 Super offre des performances compétitives, tout en fournissant le débit le plus élevé.
--- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation by asking a question. Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters: ``` GET https://unsloth.ai/docs/fr/modeles/nemotron-3/nemotron-3-super.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.