Aller au contenu
For the complete documentation index, see llms.txt. This page is also available as Markdown.

🧩NVIDIA Nemotron 3.5 Super VL : Guide d’exécution locale

Exécutez Nemotron 3.5 Super VL localement avec les GGUF Unsloth.

NVIDIA Nemotron-3.5-Super-VL-120B-A12B est un 120B de paramètres, 12B actifs modèle MoE hybride de raisonnement avec jusqu’à 1 M de jetons de contexte. Il accepte du texte, des images et de la vidéo pour la compréhension de documents, l’utilisation de l’ordinateur et les workflows d’agent, et génère du texte.

Il prend en charge la sortie JSON et l’appel d’outils, et inclut une tête Multi-Token Prediction (MTP) intégrée. Les GGUF Unsloth vont de 46,1 Go (1 bit) à 132 Go (8 bits). Nous avons également créé des quants NVFP4 (79 Go) et ajouté le module LiLiCorr DSpark. Quants Unsloth : NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-GGUF

Guide Nemotron-3.5-Super-VLGuide d’exécution de Nemotron-3.5-Bolt

⚙️ Guide d’utilisation

Exigences de Nemotron 3.5 Super VL

Le plus petit Le GGUF 1 bit fait 46,1 Go; prévoyez au moins 64 Go de RAM ou de mémoire unifiée. Le GGUF 4 bits fait 86,9 Go, avec environ 128 Go recommandés. Vous pouvez également répartir le modèle entre la RAM système et la VRAM du GPU. Vous pouvez aussi exécuter le mode NVFP4, qui est une conversion directe sans perte de NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4.

Quantization
Taille du GGUF
Mémoire minimale estimée

UD-IQ1_M (1-bit)

46,1 Go

64 Go

UD-IQ2_XXS (2-bit)

51,1 Go

64 Go

UD-IQ2_M (2-bit)

55,9 Go

80 Go

UD-Q2_K_XL (2-bit)

57,8 Go

80 Go

UD-IQ3_XXS (3-bit)

59,8 Go

80 Go

UD-Q3_K_XL (3-bit)

65,8 Go

96 Go

NVFP4 (4-bit)

79 Go

96 Go

UD-Q4_K_XL (4-bit)

86,9 Go

128 Go

UD-Q5_K_XL (5-bit)

111 Go

160 Go

UD-Q6_K_XL (6-bit)

121 Go

160 Go

Q8_0 (8-bit)

132 Go

192 Go

Les chiffres de mémoire sont des estimations de planification pour un contexte modeste, incluant une marge pour le système d’exploitation, l’exécution, le cache KV et le projecteur de vision. La taille du fichier GGUF seule ne correspond pas à l’exigence en RAM. Des contextes plus longs et la vidéo nécessitent plus de mémoire ; toutes les pondérations du modèle doivent être stockées même si seuls 12B paramètres sont actifs par jeton. Ne comptez la mémoire unifiée qu’une seule fois.

Un système à mémoire unifiée de 128 Gocomme DGX Spark, correspond au budget mémoire 4 bits suggéré. NVIDIA documente la prise en charge de DGX Spark via NIM ; ces estimations mémoire GGUF ne sont pas des résultats de performance mesurés.

Paramètres recommandés

NVIDIA recommande ces paramètres :

Paramètre
Valeur

température

1.0

top_p

0.95

Commencez avec un contexte de 16 K et augmentez-le selon la mémoire disponible. Le modèle prend en charge jusqu’à 1 M de jetons, mais votre runtime ou profil NIM peut avoir une limite inférieure. Les jetons d’invite et de sortie se partagent ce budget. Les exemples servent une requête à la fois.

Réflexion activée ou désactivée

Le modèle prend en charge enable_thinking=True (par défaut) pour le raisonnement et enable_thinking=False pour les réponses directes. NVIDIA NIM accepte cela via les kwargs du modèle de chat. Pour les GGUF locaux, utilisez le template de chat du modèle et les contrôles de réflexion pris en charge par votre runtime.

Nemotron 3.5 Super VL est fourni avec MTP (prédiction multi-jetons), qui est activé par défaut dans Unsloth pour accélérer la sortie. Vous pouvez le désactiver dans les paramètres. Consultez notre guide MTP.

Guide d’exécution de Nemotron 3.5 Super VL

Pour ce tutoriel, nous utiliserons UD-Q4_K_XL (86,9 Go) avec environ 128 Go de mémoire. Choisissez un quant plus petit dans le tableau ci-dessus si vous avez moins de mémoire.

🦥 Exécutez Nemotron 3.5 Super VL dans Unsloth Desktop

Exécutez Nemotron 3.5 Super VL directement dans Unsloth Desktop sur macOS, Windows et Linux. Recherchez, téléchargez et discutez avec le modèle dans l’application.

1

Configurer Unsloth

La façon la plus simple de commencer est de télécharger l’application Unsloth Desktop.

Télécharger Unsloth

Vous pouvez également l’installer manuellement :

MacOS, Linux, WSL :

Windows :

Le L'image Docker Unsloth unsloth/unsloth est disponible sur Docker. Lire le guide.

Installer Unsloth Desktop :

Mettre à jour Unsloth Desktop :

Installer Unsloth Desktop :

Mettre à jour Unsloth Desktop :

2

Configurer et exécuter Nemotron 3.5 Super VL

Rendez-vous sur Unsloth Chat ou le hub de modèles et recherchez Nemotron 3.5 Super VL dans la barre de recherche, puis téléchargez le modèle et le quant souhaités. Vous êtes maintenant prêt à exécuter le modèle !

Les paramètres d’inférence devraient être définis automatiquement lors de l’utilisation d’Unsloth, mais vous pouvez toujours les modifier manuellement. Vous pouvez également éditer la longueur du contexte, le template de chat et d’autres paramètres.

Pour essayer la compréhension d’image, joignez un PNG ou un JPEG et demandez « Quelle est cette image ? »

Pour plus d’informations, vous pouvez consulter notre guide d’inférence Unsloth.

3

Servir Nemotron 3.5 Super VL avec l’API Unsloth

Servir Nemotron 3.5 Super VL avec unsloth run. Vous pouvez transmettre des drapeaux llama-server pour la taille du contexte, les couches GPU et d’autres paramètres. Consultez notre documentation API ou unsloth start.

4

Unsloth est maintenant prêt

Vous pouvez également faire beaucoup d’autres choses avec Nemotron 3.5 Super VL via Unsloth Desktop, par exemple :

Benchmarks KLD

Nous avons utilisé UD-3 pour convertir Nemotron Super et avons réalisé du KLD général ainsi qu’un jeu de données KLD de texte inédit pour évaluer le surapprentissage - en général UD-Q4_K_XL est le meilleur en termes de KLD par rapport à l’espace disque - NVFP4 est aussi généralement correct, et UD-Q3_K_XL est également raisonnable.

🦙 Exécutez Nemotron 3.5 Super VL dans llama.cpp

1

Compiler llama.cpp

Installez la dernière version de llama.cpp. Vous pouvez également suivre les instructions de compilation ci-dessous. Remplacez -DGGML_CUDA=ON par -DGGML_CUDA=OFF si vous n’avez pas de GPU ou si vous voulez simplement une inférence CPU. Pour les appareils Apple Mac / Metal, définissez -DGGML_CUDA=OFF puis continuez comme d’habitude - la prise en charge de Metal est activée par défaut.

La vidéo a besoin à la fois de ffmpeg et ffprobe dans votre PATH. Poursuivez les commandes ci-dessous à partir de ce llama.cpp répertoire.

2

Téléchargez le GGUF Unsloth

Téléchargez le modèle et son projecteur de vision :

Définissez les chemins vers le modèle téléchargé et son projecteur correspondant. Pour un GGUF découpé, gardez tous les shards ensemble et pointez vers le premier shard. Ajustez les noms de fichiers ci-dessous pour correspondre à votre téléchargement.

3

Exécuter du texte et des images

Pour le texte :

Pour une image, définissez le chemin vers votre propre PNG ou JPEG RGB. Pour les PDF, rendez d’abord les pages en images :

4

Exécuter la vidéo

Démarrez la CLI multimodale :

Puis saisissez ces lignes dans la CLI:

La fiche du modèle recommande des clips MP4 de 1 à 2 minutes. NIM échantillonne à 2 FPS, jusqu’à 256 images ; l’échantillonnage local dépend du runtime. Commencez par un court clip et augmentez le contexte si nécessaire, car les images de la vidéo consomment des jetons d’invite.

Service et déploiement de llama-server

1

Démarrer llama-server

Créez un répertoire media et démarrez le serveur :

Ouvrez http://127.0.0.1:8001 sur la même machine pour discuter avec le serveur llama.cpp.

2

Envoyer une requête API

Pour la vidéo, copiez un court clip dans media/clip.mp4, puis exécutez cette commande dans un autre terminal :

--media-path permet au serveur de lire les médias locaux à partir de ce répertoire. Pour les requêtes texte uniquement, utilisez "content": "Combien font 2+2 ?" à la place du tableau de contenu.

📊 Tests de performance

Mis à jour

Ce contenu vous a-t-il été utile ?