🧩NVIDIA Nemotron 3 Nano - guide d'exécution

Exécutez et affinez NVIDIA Nemotron 3 Nano localement sur votre appareil !

NVIDIA publie Nemotron-3-Nano-4B, un modèle MoE hybride ouvert de 4B qui suit Nemotron-3-Super-120B-A12B et Nemotron-3-Nano-30B-A3B. La famille Nemotron est conçue pour le codage, les mathématiques et les charges de travail agentiques rapides et précises. Elle offre un contexte de 1 million de tokens fenêtre et sont compétitifs sur les benchmarks de raisonnement, de chat et de débit.

Nemotron-3-Nano-4B fonctionne avec 5GB de RAM, de VRAM ou de mémoire unifiée. Nemotron-3-Nano-30A3B fonctionne avec 24GB de RAM. Nemotron 3 peut désormais être fine-tuné localement via Unsloth. Merci à NVIDIA d’avoir offert à Unsloth une prise en charge dès le premier jour.

Nemotron-3-Nano-4B Nemotron-3-Nano-30B-A3B Fine-tuning de Nemotron 3

Nemotron-3-Nano-4B-GGUF

Nemotron-3-Nano-30B-A3B-GGUF

⚙️ Guide d'utilisation

NVIDIA recommande ces paramètres pour l'inférence :

Chat/instruction générale (par défaut) :

temperature = 1.0
top_p = 1.0

Cas d’utilisation d’appel d’outils :

temperature = 0.6
top_p = 0.95

Pour la plupart des utilisations locales, définissez :

max_new_tokens = 32,768 par 262,144 pour les invites standard avec un maximum de 1 million de tokens
Augmentez pour un raisonnement approfondi ou une génération longue, selon les capacités de votre RAM/VRAM.

Le format du modèle de chat est obtenu lorsque nous utilisons ce qui suit :

tokenizer.apply_chat_template([
    {"role" : "user", "content" : "Combien font 1+1 ?"},
    {"role" : "assistant", "content" : "2"},
    {"role" : "user", "content" : "Combien font 2+2 ?"}
    ], add_generation_prompt = True, tokenize = False,
)

Comme le modèle a été entraîné avec NoPE, vous n’avez qu’à modifier max_position_embeddings. Le modèle n’utilise pas d’embeddings positionnels explicites, donc YaRN n’est pas nécessaire.

Format du modèle de chat Nemotron 3 :

Nemotron 3 utilise <think> avec l’ID de token 12 et </think> avec l’ID de token 13 pour le raisonnement. Utilisez --special pour voir les tokens pour llama.cpp. Vous pourriez aussi avoir besoin de --verbose-prompt pour voir <think> puisqu’il est préfixé.

<|im_start|>system\n<|im_end|>\n<|im_start|>user\nCombien font 1+1 ?<|im_end|>\n<|im_start|>assistant\n<think></think>2<|im_end|>\n<|im_start|>user\nCombien font 2+2 ?<|im_end|>\n<|im_start|>assistant\n<think>\n

🖥️ Exécuter Nemotron-3-Nano-4B

Selon votre cas d’utilisation, vous devrez utiliser des paramètres différents. Certains GGUF finissent par avoir une taille similaire parce que l’architecture du modèle (comme gpt-oss) a des dimensions non divisibles par 128, donc certaines parties ne peuvent pas être quantifiées à des bits plus faibles.

Les versions 4 bits du modèle nécessitent environ 3 Go de RAM. La version 8 bits nécessite 5 Go.

🦥 Guide d'Unsloth Studio

Nemotron 3 peut être exécuté et fine-tuné dans Unsloth Studio, notre nouvelle interface web open source pour l’IA locale. Avec Unsloth Studio, vous pouvez exécuter des modèles localement sur MacOS, Windows, Linux et :

Rechercher, télécharger, exécuter des GGUF et des modèles safetensor
Auto-réparation appel d'outils + recherche web
Exécution de code (Python, Bash)
Inférence automatique réglage des paramètres (temp, top-p, etc.)
Inférence rapide sur CPU + GPU via llama.cpp
Entraîner des LLM 2x plus rapide avec 70 % de VRAM en moins

Installer Unsloth

Exécutez dans votre terminal :

macOS, Linux, WSL :

curl -fsSL https://unsloth.ai/install.sh | sh

Windows PowerShell :

irm https://unsloth.ai/install.ps1 | iex

Lancer Unsloth

MacOS, Linux, WSL, Windows :

unsloth studio -H 0.0.0.0 -p 8888

Puis ouvrez http://localhost:8888 dans votre navigateur.

Recherchez et téléchargez Nemotron-3-Nano-4B

Au premier lancement, vous devrez créer un mot de passe pour sécuriser votre compte et vous reconnecter plus tard. Vous verrez ensuite un court assistant d’intégration pour choisir un modèle, un jeu de données et des paramètres de base. Vous pouvez le passer à tout moment.

Puis allez dans l’onglet Unsloth Chat onglet et recherchez Nemotron-3-Nano-4B dans la barre de recherche, puis téléchargez le modèle et la quantification souhaités.

Exécuter Nemotron-3-Nano-4B

Les paramètres d'inférence doivent être définis automatiquement lors de l'utilisation d'Unsloth Studio ; toutefois, vous pouvez toujours les modifier manuellement. Vous pouvez également modifier la longueur de contexte, le gabarit de conversation et d'autres paramètres.

Pour plus d'informations, vous pouvez consulter notre Guide d'inférence Unsloth Studio.

Tutoriel Llama.cpp :

Instructions pour l’exécuter dans llama.cpp (nous utiliserons le 8 bits pour une précision quasi complète) :

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

Vous pouvez le télécharger directement depuis Hugging Face. Vous pouvez augmenter le contexte à 1 million selon les capacités de votre RAM/VRAM.

Suivez ceci pour les cas d’utilisation d’instructions générales :

./llama.cpp/llama-cli \
    -hf unsloth/NVIDIA-Nemotron-3-Nano-4B-GGUF:Q8_0 \\
    --ctx-size 16384 \\
    --temp 1.0 --top-p 1.0

Suivez ceci pour appel d’outils :

./llama.cpp/llama-cli \
    -hf unsloth/NVIDIA-Nemotron-3-Nano-4B-GGUF:Q8_0 \\
    --ctx-size 32768 \\
    --temp 0.6 --top-p 0.95

Téléchargez le modèle via (après avoir installé pip install huggingface_hub hf_transfer ). Vous pouvez choisir Q8_0 ou d’autres versions quantifiées.

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/NVIDIA-Nemotron-3-Nano-4B-GGUF",
    local_dir = "unsloth/NVIDIA-Nemotron-3-Nano-4B-GGUF",
    allow_patterns = ["*Q8_0*"],
)

Ensuite, exécutez le modèle en mode conversation :

./llama.cpp/llama-cli \
    --model unsloth/NVIDIA-Nemotron-3-Nano-4B-GGUF/NVIDIA-Nemotron-3-Nano-4B-Q8_0.gguf \\
    --ctx-size 16384 \\
    --seed 3407 \\
    --prio 2 \\
    --temp 0.6 \\
    --top-p 0.95

Ajustez également la fenêtre de contexte selon les besoins. Assurez-vous que votre matériel peut gérer une fenêtre de contexte supérieure à 256K. La régler à 1 million peut déclencher une erreur CUDA OOM et provoquer un crash, c’est pourquoi la valeur par défaut est 262 144.

🖥️ Exécuter Nemotron-3-Nano-30B-A3B

Les versions 4 bits du modèle nécessitent environ 24 Go de RAM. La version 8 bits nécessite 36 Go.

🦥 Guide d'Unsloth Studio

Pour ce tutoriel, nous utiliserons Unsloth Studio, qui est notre nouvelle interface web pour exécuter et entraîner des LLM. Avec Unsloth Studio, vous pouvez exécuter des modèles localement sur Mac, Windows, et Linux, et :

Rechercher, télécharger, exécuter des GGUF et des modèles safetensor
Comparer modèles côte à côte
Auto-réparation appel d'outils + recherche web
Exécution de code (Python, Bash)
Inférence automatique réglage des paramètres (temp, top-p, etc.)
Entraîner des LLM 2x plus rapide avec 70 % de VRAM en moins

Installer Unsloth

macOS, Linux, WSL :

curl -fsSL https://unsloth.ai/install.sh | sh

Windows PowerShell :

irm https://unsloth.ai/install.ps1 | iex

Configurer Unsloth Studio (une seule fois)

La configuration installe automatiquement Node.js (via nvm), compile le frontend, installe toutes les dépendances Python et compile llama.cpp avec la prise en charge de CUDA.

Utilisateurs de WSL : vous serez invité à saisir votre sudo mot de passe pour installer les dépendances de compilation (cmake, git, libcurl4-openssl-dev).

Lancer Unsloth

macOS, Linux, WSL :

source unsloth_studio/bin/activate
unsloth studio -H 0.0.0.0 -p 8888

Windows PowerShell :

& .\unsloth_studio\Scripts\unsloth.exe studio -H 0.0.0.0 -p 8888

Puis ouvrez http://localhost:8888 dans votre navigateur.

Recherchez et téléchargez Nemotron-3-Nano-30B-A3B

Puis allez dans l’onglet Unsloth Chat onglet et recherchez Nemotron-3-Nano-4B dans la barre de recherche, puis téléchargez le modèle et la quantification souhaités.

Exécuter Nemotron-3-Nano-30B-A3B

Pour plus d'informations, vous pouvez consulter notre Guide d'inférence Unsloth Studio.

Tutoriel Llama.cpp :

Instructions pour l'exécution dans llama.cpp (notez que nous utiliserons 4 bits pour tenir sur la plupart des appareils) :

Obtenez la dernière version de llama.cpp sur GitHub ici. Vous pouvez également suivre les instructions de compilation ci-dessous. Remplacez -DGGML_CUDA=ON par -DGGML_CUDA=OFF si vous n'avez pas de GPU ou si vous voulez simplement une inférence sur CPU. Pour les appareils Apple Mac / Metal, définissez -DGGML_CUDA=OFF puis continuez comme d'habitude - la prise en charge de Metal est activée par défaut.

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

Vous pouvez le télécharger directement depuis Hugging Face. Vous pouvez augmenter le contexte à 1 million selon les capacités de votre RAM/VRAM.

Suivez ceci pour les cas d’utilisation d’instructions générales :

./llama.cpp/llama-cli \
    -hf unsloth/Nemotron-3-Nano-30B-A3B-GGUF:UD-Q4_K_XL \\
    --ctx-size 32768 \\
    --temp 1.0 --top-p 1.0

Suivez ceci pour appel d’outils :

./llama.cpp/llama-cli \
    -hf unsloth/Nemotron-3-Nano-30B-A3B-GGUF:UD-Q4_K_XL \\
    --ctx-size 32768 \\
    --temp 0.6 --top-p 0.95

Téléchargez le modèle via (après avoir installé pip install huggingface_hub hf_transfer ). Vous pouvez choisir UD-Q4_K_XL ou d’autres versions quantifiées.

# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id = "unsloth/Nemotron-3-Nano-30B-A3B-GGUF",
    local_dir = "unsloth/Nemotron-3-Nano-30B-A3B-GGUF",
    allow_patterns = ["*UD-Q4_K_XL*"],
)

Ensuite, exécutez le modèle en mode conversation :

./llama.cpp/llama-cli \
    --model unsloth/Nemotron-3-Nano-30B-A3B-GGUF/Nemotron-3-Nano-30B-A3B-UD-Q4_K_XL.gguf \\
    --ctx-size 16384 \\
    --seed 3407 \\
    --prio 2 \\
    --temp 0.6 \\
    --top-p 0.95

🦥 Fine-tuning de Nemotron 3 et RL

Unsloth prend désormais en charge le fine-tuning de tous les modèles Nemotron, y compris Nemotron 3 Super et Nano.

Le modèle 4B tient sur un GPU Colab gratuit cependant le modèle 30B ne tient pas. Nous avons quand même préparé un notebook Colab A100 de 80 Go pour que vous puissiez y effectuer le fine-tuning. Le fine-tuning LoRA en 16 bits de Nemotron 3 Nano utilisera environ 60 Go de VRAM:

Notebook SFT LoRA Nemotron-3-Nano-30B-A3B

Google Colabcolab.research.google.com

Concernant le fine-tuning des MoE, il n’est probablement pas judicieux de fine-tuner la couche de routage, nous l’avons donc désactivée par défaut. Si vous souhaitez conserver ses capacités de raisonnement (facultatif), vous pouvez utiliser un mélange de réponses directes et d’exemples de raisonnement pas à pas. Utilisez au moins 75 % de raisonnement et 25 % sans raisonnement dans votre jeu de données pour que le modèle conserve ses capacités de raisonnement.

✨Apprentissage par renforcement + NeMo Gym

Nous avons collaboré avec l’open source NVIDIA NeMo Gym équipe pour permettre la démocratisation des environnements RL. Notre collaboration permet un entraînement RL par rollout à tour unique pour de nombreux domaines d’intérêt, notamment les mathématiques, le codage, l’utilisation d’outils, etc, en utilisant les environnements et jeux de données d’entraînement de NeMo Gym :

Notebook d’apprentissage par renforcement NeMo Gym Sudoku

Google Colabcolab.research.google.com

Notebook NeMo Gym Multi Environments pour l’apprentissage par renforcement

Google Colabcolab.research.google.com

Consultez également notre dernier guide de collaboration publié sur le blog officiel Developer de NVIDIA :

Comment fine-tuner un LLM sur des GPU NVIDIA avec Unsloth

How to Fine-Tune an LLM on NVIDIA GPUs With UnslothNVIDIA Blog

🦙 Diffusion et déploiement de Llama-server

Pour déployer Nemotron 3 en production, nous utilisons llama-server Dans un nouveau terminal, par exemple via tmux, déployez le modèle via :

./llama.cpp/llama-server \
    --model unsloth/Nemotron-3-Nano-30B-A3B-GGUF/Nemotron-3-Nano-30B-A3B-UD-Q4_K_XL.gguf \\
    --alias "unsloth/Nemotron-3-Nano-30B-A3B" \\
    --prio 3 \\
    --min-p 0.01 \
    --temp 0.6 \\
    --top-p 0.95 \
    --ctx-size 16384 \\
    --port 8001

Lorsque vous exécutez la commande ci-dessus, vous obtenez :

Puis, dans un nouveau terminal, après avoir effectué pip install openai, faites :

from openai import OpenAI
import json
openai_client = OpenAI(
    base_url = "http://127.0.0.1:8001/v1",
    api_key = "sk-no-key-required",
)
completion = openai_client.chat.completions.create(
    model = "unsloth/Nemotron-3-Nano-30B-A3B",
    messages = [{"role": "user", "content": "Combien font 2+2 ?"},],
)
print(completion.choices[0].message.content)

Ce qui affichera

L’utilisateur pose une question simple : « Combien font 2+2 ? » La réponse est 4. Fournissez la réponse.

2 + 2 = 4.

Benchmarks

Nemotron-3-Nano-4B est le modèle offrant les meilleures performances pour sa taille, y compris en termes de débit.

Nemotron-3-Nano-30B-A3B est le modèle offrant les meilleures performances sur tous les benchmarks, y compris en termes de débit.

Mis à jour il y a 4 jours

Ce contenu vous a-t-il été utile ?