🧩NVIDIA Nemotron 3 Nano Omni - comment exécuter en local

Exécutez et fine-tunez Nemotron-3-Nano-Omni-30B-A3B localement sur votre appareil !

NVIDIA Nemotron-3-Nano-Omni-30B-A3B est un modèle MoE hybride de raisonnement ouvert à 30B paramètres, dont 3B actifs, conçu pour des charges de travail agentiques multimodales incluant audio, vidéo, du texte, des images et des documents en entrée, avec une sortie texte. Le modèle fonctionne avec 25 Go de RAM pour le 4 bits et 36 Go pour le 8 bits.

Avec un contexte de 256K, Nemotron 3 Nano Omni est le omni le plus puissant modèle pour sa taille et le modèle multimodal ouvert le plus efficace. Nous avons collaboré avec NVIDIA pour une prise en charge dès le jour 0 ! GGUF : Nemotron-3-Nano-Omni-30B-A3B-Reasoning

⚙️ Guide d'utilisation

NVIDIA recommande ces paramètres pour l'inférence :

Mode de réflexion :

température = 0.6
top_p = 0.95

Mode instruct :

température = 0.2

Exécuter Nemotron-3-Nano-Omni

Selon votre cas d'utilisation, vous devrez utiliser des paramètres différents. Certains GGUF finissent par avoir une taille similaire parce que l'architecture du modèle (comme gpt-oss) a des dimensions non divisibles par 128, donc certaines parties ne peuvent pas être quantifiées avec moins de bits. GGUF : Nemotron-3-Nano-Omni-30B-A3B-Reasoning

Les versions 4 bits du modèle nécessitent ~25 Go de RAM. Le 8 bits nécessite 36 Go. Pour ces guides, nous utiliserons UD-Q4-K-XL qui offre un bon équilibre entre taille et précision.

Exécuter dans Unsloth Studio Exécuter dans llama.cpp

Actuellement, aucun GGUF multimodal/vision ne fonctionne dans Ollama en raison de fichiers mmproj vision séparés. Utilisez des backends compatibles avec llama.cpp.

NE PAS utiliser CUDA 13.2 car vous pourriez obtenir des sorties incohérentes. NVIDIA travaille sur une correction.

🦥 Guide Unsloth Studio

Pour ce tutoriel, nous utiliserons Unsloth Studio, qui est notre nouvelle interface web pour exécuter et entraîner des LLM. Avec Unsloth Studio, vous pouvez exécuter des modèles et traiter des entrées audio, des images et du texte localement sur Mac, Windows, et Linux, et :

Rechercher, télécharger, exécuter des GGUF et des modèles safetensor
Comparer les modèles côte à côte
Appel d'outils auto-réparateur + recherche web
Exécution de code (Python, Bash)
Inférence automatique ajustement des paramètres (temp, top-p, etc.)
Entraîner des LLM 2x plus rapide avec 70 % de VRAM en moins

Installer Unsloth

MacOS, Linux, WSL :

curl -fsSL https://unsloth.ai/install.sh | sh

Windows PowerShell :

irm https://unsloth.ai/install.ps1 | iex

Configurer Unsloth Studio (une seule fois)

La configuration installe automatiquement Node.js (via nvm), construit le frontend, installe toutes les dépendances Python et compile llama.cpp avec la prise en charge CUDA.

Utilisateurs de WSL : vous serez invité à saisir votre sudo mot de passe pour installer les dépendances de compilation (cmake, git, libcurl4-openssl-dev).

Lancer Unsloth

MacOS, Linux, WSL :

source unsloth_studio/bin/activate
unsloth studio -H 0.0.0.0 -p 8888

Windows PowerShell :

unsloth studio -H 0.0.0.0 -p 8888

Puis ouvrez http://127.0.0.1:8888 dans votre navigateur.

Rechercher et télécharger NVIDIA-Nemotron-3-Nano-30B-A3B-Omni

Au premier lancement, vous devrez créer un mot de passe pour sécuriser votre compte, puis vous reconnecter plus tard. Ensuite, allez dans l'onglet Studio Chat et recherchez Nemotron-3-Nano-Omni dans la barre de recherche, puis téléchargez le modèle et la quantification souhaités.

Exécuter Nemotron-3-Nano-30B-A3B-Omni

Les paramètres d'inférence devraient être définis automatiquement lors de l'utilisation d'Unsloth Studio, mais vous pouvez toujours les modifier manuellement. Vous pouvez aussi modifier la longueur du contexte, le modèle de chat et d'autres paramètres.

Pour plus d'informations, vous pouvez consulter notre guide d'inférence Unsloth Studio.

🦙 Tutoriel Llama.cpp :

Instructions pour exécuter dans llama.cpp (notez que nous utiliserons le 4 bits pour convenir à la plupart des appareils) :

Obtenez la dernière version de llama.cpp sur GitHub ici. Vous pouvez également suivre les instructions de compilation ci-dessous. Modifiez -DGGML_CUDA=ON en -DGGML_CUDA=OFF si vous n'avez pas de GPU ou si vous souhaitez simplement une inférence CPU. Pour les appareils Apple Mac / Metal, définissez -DGGML_CUDA=OFF puis continuez comme d'habitude - la prise en charge de Metal est activée par défaut.

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

Commençons d'abord par obtenir une image ! Vous pouvez également téléverser des images. Nous utiliserons https://raw.githubusercontent.com/unslothai/unsloth/refs/heads/main/images/unsloth%20made%20with%20love.png, qui est simplement notre mini-logo montrant comment les fine-tunes sont réalisés avec Unsloth :

wget https://raw.githubusercontent.com/unslothai/unsloth/refs/heads/main/images/unsloth%20made%20with%20love.png -O unsloth.png

Récupérons la 2e image à https://files.worldwildlife.org/wwfcmsprod/images/Sloth_Sitting_iStock_3_12_2014/story_full_width/8l7pbjmj29_iStock_000011145477Large_mini__1_.jpg

wget https://files.worldwildlife.org/wwfcmsprod/images/Sloth_Sitting_iStock_3_12_2014/story_full_width/8l7pbjmj29_iStock_000011145477Large_mini__1_.jpg -O picture.png

Téléchargeons maintenant le modèle manuellement. Nous pouvons le faire via le code ci-dessous (après avoir installé pip install huggingface_hub). Si les téléchargements se bloquent, voir : Débogage de Hugging Face Hub, XET

pip install huggingface_hub
hf download unsloth/NVIDIA-Nemotron-3-Nano-Omni-30B-A3B-Reasoning-GGUF \
    --local-dir unsloth/NVIDIA-Nemotron-3-Nano-Omni-30B-A3B-Reasoning-GGUF \
    --include "*mmproj-BF16*" \
    --include "*UD-Q4_K_XL*" # Utilisez "*UD-Q2_K_XL*" pour le 2 bits dynamique

Puis exécutez le modèle en mode conversation :

./llama.cpp/llama-cli \
    --model unsloth/NVIDIA-Nemotron-3-Nano-Omni-30B-A3B-Reasoning-GGUF/NVIDIA-Nemotron-3-Nano-Omni-30B-A3B-Reasoning-UD-Q4_K_XL.gguf \
    --mmproj unsloth/NVIDIA-Nemotron-3-Nano-Omni-30B-A3B-Reasoning-GGUF/mmproj-BF16.gguf \
    --temp 0.6 \
    --top-p 0.95 \
    --min-p 0.01

Vous verrez alors ce qui suit :

Puis utilisez /image pour charger les deux images et demander « Qu'est-ce que cette image ? » :

Et pour l'image du paresseux :

Service et déploiement avec llama-server

Pour déployer Nemotron 3 Nano Omni localement, utilisez llama-server. Dans un nouveau terminal, par exemple via tmux, déployez le modèle :

./llama.cpp/llama-server \
    -hf unsloth/NVIDIA-Nemotron-3-Nano-Omni-30B-A3B-Reasoning-GGUF:UD-Q4_K_XL \
    --alias "unsloth/NVIDIA-Nemotron-3-Nano-Omni-30B-A3B-Reasoning" \
    --prio 3 \
    --temp 0.6 \
    --top-p 0.95 \
    --port 8001

Si vous avez téléchargé le modèle manuellement, utilisez :

./llama.cpp/llama-server \
    --model unsloth/NVIDIA-Nemotron-3-Nano-Omni-30B-A3B-Reasoning-GGUF/NVIDIA-Nemotron-3-Nano-Omni-30B-A3B-Reasoning-UD-Q4_K_XL.gguf \
    --mmproj unsloth/NVIDIA-Nemotron-3-Nano-Omni-30B-A3B-Reasoning-GGUF/mmproj-BF16.gguf \
    --alias "unsloth/NVIDIA-Nemotron-3-Nano-Omni-30B-A3B-Reasoning" \
    --prio 3 \
    --temp 0.6 \
    --top-p 0.95 \
    --port 8001

Puis dans un nouveau terminal, après avoir installé le client OpenAI avec pip install openai:

from openai import OpenAI
openai_client = OpenAI(
    base_url = "http://127.0.0.1:8001/v1",
    api_key = "sk-no-key-required",
)
completion = openai_client.chat.completions.create(
    model = "unsloth/NVIDIA-Nemotron-3-Nano-Omni-30B-A3B-Reasoning",
    messages = [
        {"role": "user", "content": "Combien font 2+2 ?"},
    ],
)
print(completion.choices[0].message.reasoning_content)
print(completion.choices[0].message.content)

Ce qui affichera quelque chose comme ci-dessous :

Entrée d'image via le serveur compatible OpenAI

Utilisons picture.png qui était l'image du paresseux comme dans NVIDIA Nemotron 3 Omni

from openai import OpenAI
import base64
import mimetypes
image_link = "picture.png"

def file_to_data_url(path: str) -> str:
    mime = mimetypes.guess_type(path)[0] or "application/octet-stream"
    with open(path, "rb") as f:
        data = base64.b64encode(f.read()).decode("utf-8")
    return f"data:{mime};base64,{data}"

openai_client = OpenAI(
    base_url = "http://127.0.0.1:8001/v1",
    api_key = "sk-no-key-required",
)

completion = openai_client.chat.completions.create(
    model = "unsloth/NVIDIA-Nemotron-3-Nano-Omni-30B-A3B-Reasoning",
    messages = [ {
        "role": "user",
        "content": [
            { "type": "text", "text": "Qu'est-ce que cette image ?", },
            {
                "type": "image_url",
                "image_url": { "url": file_to_data_url(image_link), },
            },
        ],
    } ],
)
print(completion.choices[0].message.reasoning_content)
print(completion.choices[0].message.content)

Ce qui affichera quelque chose comme ci-dessous :

🦥 Fine-tuning de Nemotron 3 Nano Omni

Unsloth prend en charge toute la famille de modèles Nemotron . Nemotron 3 Nano Omni est utile pour les ensembles de données d'agents multimodaux. Vous pouvez entraîner sur l'audio, la vision ou le texte via Unsloth. Entrée vidéo l'ajustement fin n'est actuellement pas pris en charge.

Pour le texte uniquement et les notebooks, vous pouvez partir du flux d'ajustement fin existant de Nemotron 3 Nano. Pour les adaptateurs multimodaux, assurez-vous que votre ensemble de données inclut la modalité dont votre agent a réellement besoin :

Utilisation de l'ordinateur : captures d'écran, état de l'interface, curseur/contexte, action suivante attendue
Intelligence documentaire : PDF, captures d'écran, graphiques, tableaux, cibles d'extraction structurée
Compréhension audio : clips audio, images échantillonnées, résumés, horodatages, événements et questions de suivi
Boucles d'agent : exemples observation → raisonnement → action → validation

Pour Omni, ne réutilisez pas aveuglément les chiffres de VRAM du texte seul. Les encodeurs multimodaux, les poids du projecteur, les jetons d'image, les segments audio et le long contexte augmentent tous l'utilisation de la mémoire. Commencez avec des contextes plus courts et des tailles de lot plus petites, puis augmentez progressivement.

Benchmarks

Nemotron 3 Nano Omni est le modèle omni le plus puissant pour sa taille. C'est aussi le modèle multimodal ouvert le plus efficace, avec une précision de premier plan. Le modèle surpasse Qwen3-Omni-30B-A3B sur tous les benchmarks.

Mis à jour il y a 27 jours

Ce contenu vous a-t-il été utile ?