> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/fr/modeles/cosmos-3.md).

# NVIDIA Cosmos 3 : exécution en local

Exécutez localement les modèles de monde NVIDIA Cosmos 3 avec Unsloth : génération de vidéo à partir de texte, d’images, prolongation de vidéo et changement de style vidéo.

**NVIDIA Cosmos 3** est une famille de modèles du monde multimodaux pour l’IA physique. **Cosmos3-Nano** (16B) et **Cosmos3-Edge** (4B) s’exécutent dans Unsloth pour la **génération de vidéo à partir de texte** et la **génération de vidéo à partir d’images**, et Cosmos3-Nano peut aussi **prolonger un clip**. **Cosmos3-Nano-Sim-Transfer** recompose le style d’une vidéo existante à partir de ses contours dans l’onglet **Restyle** . Le chargement et la configuration de LoRA pour le **raisonneur** fonctionnent avec Unsloth ; l’entraînement du raisonneur est décrit ci-dessous à titre d’exemple non validé.

<figure><img src="https://550366147-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FUUdAGmDpMwHPVOpzFcp4%2Fcosmos-3-nano-t2v.gif?alt=media" alt="Cosmos3-Nano text-to-video: a robot arm places a red box on a pallet beside a conveyor" width="563"><figcaption><p>Cosmos3-Nano, 832×480, 93 images, seed 42, environ 50 s</p></figcaption></figure>

Cosmos 3 propose deux interfaces d’exécution. Le modèle **Generator** de NVIDIA peut recevoir du texte, des images, du son et des actions en entrée, et produire des vidéos, du son et des actions. Unsloth génère uniquement des vidéos : il ne charge pas le tokenizer audio, les clips n’ont donc pas de piste audio, et les entrées et sorties d’actions ne sont pas prises en charge. Le **Reasoner** reçoit du texte et des images et produit du texte pour la compréhension du monde, le raisonnement physique, la planification de tâches et la prévision d’actions.

La génération de vidéo à partir de texte ou d’images, ainsi que la prolongation, s’exécutent localement avec le pipeline diffusers Cosmos3OmniPipeline. Restyle exécute Cosmos3-Nano-Sim-Transfer avec stable-diffusion.cpp.

* **Cosmos3-Edge (4B) :** [Hugging Face](https://huggingface.co/nvidia/Cosmos3-Edge)
* **Cosmos3-Nano (16B) :** [Hugging Face](https://huggingface.co/nvidia/Cosmos3-Nano)
* **Cosmos3-Nano-Sim-Transfer :** [Hugging Face](https://huggingface.co/nvidia/Cosmos3-Nano-Sim-Transfer)
* **Documentation :** [Documentation NVIDIA Cosmos](https://docs.nvidia.com/cosmos/latest/cosmos3/model_reference.html) et le [dépôt Cosmos](https://github.com/NVIDIA/cosmos)

<figure><img src="https://550366147-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FwOasrmOzKWt7wJQLju9g%2Fcosmos-3-flow.gif?alt=media" alt="Animation: search Cosmos3 in the Video model picker, pick Cosmos3 Edge, wait for the download and load, add a start frame, click Generate and get a robot arm clip" width="563"><figcaption><p>Le flux de travail Unsloth avec Cosmos3-Edge, accéléré</p></figcaption></figure>

{% hint style="info" %}
**Remarque**

La prise en charge du générateur Cosmos 3 a été intégrée dans la [PR #14554](https://github.com/unslothai/unsloth/pull/14554). Utilisez Unsloth v0.1.917-beta ou une version ultérieure pour la génération en 256p, les fréquences d’images propres à chaque modèle, Cosmos3-Nano dans le sélecteur de modèles, la prolongation vidéo avec Nano et Restyle. La version suivant v0.1.918-beta ajoute les modifications de la [PR #18116](https://github.com/unslothai/unsloth/pull/18116) : le vérificateur de sécurité désactivé par défaut (étape 2), le bouton **Configurer Restyle**  (étape 6), **Faible VRAM** , qui n’utilise jamais plus de mémoire que le mode Balanced, et l’ouverture de la page Vidéo avec la résolution entraînée de 832×480. Voir [Mise à jour d’Unsloth](https://unsloth.ai/docs/get-started/install/updating).
{% endhint %}

## Mémoire et vitesse

Mesures effectuées dans Unsloth (branche main, 16 novembre) sur une NVIDIA RTX PRO 6000 (96 Go), un clip à la fois, seed 42, paramètres par défaut des modèles (Edge : 20 étapes, Nano : 35 étapes, guidance : 6, 24 FPS). La VRAM maximale correspond à l’utilisation de l’ensemble du GPU, telle que rapportée par `nvidia-smi`, relevée au démarrage d’une session fraîche. Il s’agit de configurations mesurées, et non de la configuration matérielle minimale requise.

| Modèle                        | Mode                         | Mémoire                                | Paramètres                  | Durée   | VRAM de pointe  |
| ----------------------------- | ---------------------------- | -------------------------------------- | --------------------------- | ------- | --------------- |
| **Cosmos3-Edge (4B)**         | Texte en vidéo               | Automatique (résident)                 | 832×480, 53 images          | 6,8 s   | 13,6 Gio        |
| **Cosmos3-Edge (4B)**         | Texte en vidéo               | Automatique (résident)                 | 832×480, 121 images         | 16,6 s  | 14,0 Gio        |
| **Cosmos3-Edge (4B)**         | Texte en vidéo               | Automatique (résident)                 | 832×480, 149 images         | 20,4 s  | 13,7 Gio        |
| **Cosmos3-Edge (4B)**         | Image en vidéo               | Automatique (résident)                 | 832×480, 121 images         | 15,9 s  | environ 15 Gio  |
| **Cosmos3-Edge (4B)**         | Texte en vidéo               | Équilibré (INT8, diffusion en continu) | 832×480, 121 images         | 23,5 s  | 7,6 Gio         |
| **Cosmos3-Nano (16B)**        | Texte en vidéo               | Automatique (résident)                 | 832×480, 93 images          | 49,8 s  | 36,4 Gio        |
| **Cosmos3-Nano (16B)**        | Texte en vidéo               | Automatique (résident)                 | 832×480, 189 images         | 118,8 s | 36,8 Gio        |
| **Cosmos3-Nano (16B)**        | Texte en vidéo               | Automatique (résident)                 | 1280×720, 189 images        | 394,9 s | 44,8 Gio        |
| **Cosmos3-Nano (16B)**        | Image en vidéo, continuation | Automatique (résident)                 | 832×480, 49 images          | 23,8 s  | moins de 43 Gio |
| **Cosmos3-Nano (16B)**        | Texte en vidéo               | Équilibré (INT8, diffusion en continu) | 832×480, 49 images          | 41,6 s  | 9,0 Gio         |
| **Cosmos3-Nano-Sim-Transfer** | Restylage (BF16)             | sd.cpp                                 | 832×480, 121 images, 30 FPS | 37,5 s  | 39,8 Gio        |
| **Cosmos3-Nano-Sim-Transfer** | Restylage (Q8\_0 GGUF)       | sd.cpp                                 | 832×480, 121 images, 30 FPS | 37,2 s  | 29,0 Gio        |

Le chargement depuis le cache local a pris environ 8 secondes pour chacun des deux modèles sur cette machine ; le premier téléchargement a pris environ 1 minute pour Edge (9,2 Go) et environ 3 minutes pour Nano (environ 33 Go, le tokenizer audio étant ignoré). Avec **Mémoire : automatique** sur un GPU dont la mémoire ne suffit pas à contenir les poids, Unsloth choisit lui-même un mode de déchargement. **Équilibré** diffuse le transformer en continu et le quantifie en INT8 au chargement : Edge est passé de 14,0 Gio à 7,6 Gio pour 121 images, et Nano a utilisé 9,0 Gio pour 49 images, alors que ses seuls poids résidents occupent environ 31 Gio, avec un temps par étape environ 1,5 fois plus long. Dans la version v0.1.918-beta et les versions antérieures, **VRAM faible** utilisait davantage de mémoire que le mode Équilibré pour Cosmos 3 (18,9 Gio pour Nano). À partir de la prochaine version, le transformer et l’encodeur de texte seront diffusés en continu ; le pic de mémoire ne dépassera donc jamais celui du mode Équilibré : sur le même GPU, le pic de Nano en mode VRAM faible est passé de 18,9 Gio à 8,4 Gio et celui d’Edge, de 8,6 Gio à 7,6 Gio, à la vitesse du mode Équilibré.

NVIDIA a partagé des points de contrôle FP8 préquantifiés pour Cosmos3-Nano, Cosmos3-Super et Cosmos3-Edge. Unsloth Desktop v0.1.920-beta prend en charge le chargement de Nano-FP8 et Edge-FP8 dans la page Vidéo, sans paquet NVIDIA supplémentaire. La prise en charge du chargement de Super-FP8 dans Studio n’a pas encore été vérifiée. La quantification INT8 d’Unsloth est appliquée au chargement, et la précision par défaut est BF16. Lorsque les optimisations de vitesse sont désactivées, la sortie d’Unsloth correspondait à celle du pipeline diffusers standard, avec la même graine, à la marge du bruit d’encodage vidéo près ; les paramètres de vitesse par défaut produisent la même scène et les mêmes mouvements, avec de légères différences de détail.

## Paramètres de génération pris en charge

| Paramètre                 | Valeurs prises en charge                                                                                                                         |
| ------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------ |
| **Niveaux de résolution** | Nano : 256p, 480p, 720p. Edge : 256p, 480p. Si aucune taille n’est indiquée dans la requête, Nano utilise 1280×720 et Edge, 832×480.             |
| **Formats d’image**       | 16:9, 4:3, 1:1, 3:4, 9:16 en 480p et 720p. En 256p, les tailles sont 320×192, 192×320, 256×256, 320×256 et 256×320.                              |
| **Fréquences d’images**   | Nano : 10, 16, 24 ou 30 FPS. Edge : 12–30 FPS. Valeur par défaut : 24 FPS pour les deux modèles.                                                 |
| **Nombre d’images**       | Nano : 5–397 (valeur par défaut : 189). Edge : 53–149 (valeur par défaut : 121). Pour les deux modèles, le nombre d’images suit la formule 4k+1. |
| **Précision**             | BF16, ou INT8 appliqué au chargement par les modes mémoire Équilibré et VRAM faible                                                              |
| **Architectures GPU**     | Mesures réalisées ici sur une NVIDIA RTX PRO 6000 (Blackwell). Ces mesures ne couvrent pas les autres GPU.                                       |

Unsloth refuse les paramètres qui dépassent ces plages et indique la valeur prise en charge la plus proche ; par exemple, pour une demande de 50 images sur Edge, il suggère 53.

{% hint style="warning" %}
**Important**

**Cosmos3-Edge** prend en charge le 256p et le 480p, de 12 à 30 FPS, ainsi que les nombres d’images de 53 à 149 dans Unsloth (121 par défaut). Il ne permet pas de prolonger les clips. Nano prolonge un clip à partir de cinq images de conditionnement. Restyle utilise le modèle distinct Cosmos3-Nano-Sim-Transfer.
{% endhint %}

Pour une sortie au format 16:9, **le conditionnement visuel** utilise une résolution de 1280×720 en 720p et de 832×480 en 480p. Le pipeline redimensionne et recadre les images de conditionnement à la taille de sortie ; choisir le même format d’image que celui de la sortie évite donc le recadrage. La prolongation vidéo de Nano conserve cinq images de conditionnement. Limitez les prompts de génération de mondes à environ 300 mots.

## Démarrage rapide

### Étape 1. Configurer Unsloth

Le moyen le plus simple de commencer est de télécharger l’application [Unsloth Desktop](https://unsloth.ai/docs/desktop). Compatible avec [macOS](https://unsloth.ai/docs/get-started/install/mac), [Windows](https://unsloth.ai/docs/get-started/install/windows-installation)et [Linux](https://unsloth.ai/docs/get-started/install/linux).

Vous pouvez aussi procéder à une installation manuelle. macOS, Linux, WSL :

```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```

Windows PowerShell :

```powershell
irm https://unsloth.ai/install.ps1 | iex
```

Unsloth installe une version de diffusers compatible avec Cosmos 3 ; rien d’autre n’est donc nécessaire pour Cosmos3-Edge. Unsloth refuse d’exécuter Cosmos 3 avec une version de diffusers antérieure à 0.41 et indique comment la mettre à jour.

### Étape 2. (Facultatif) Activer le filtre de sécurité

Les dépôts des modèles Cosmos 3 ne sont pas soumis à restriction, et le filtre de sécurité du contenu de NVIDIA (le garde-fou Cosmos) est **désactivé par défaut** dans Unsloth pour tous les modèles Cosmos 3 ; vous pouvez donc ignorer cette étape. Le journal de chargement indique lorsqu’il est désactivé. Ce comportement par défaut nécessite une version postérieure à v0.1.918-beta ; dans les versions antérieures, le garde-fou est activé pour Cosmos3-Nano et son chargement est refusé tant qu’il n’a pas été configuré ou que `UNSLOTH_COSMOS3_SAFETY_CHECKER=0` n’a pas été défini.

Pour activer le filtre de sécurité :

1. Démarrez Unsloth avec le vérificateur de sécurité activé :

```bash
UNSLOTH_COSMOS3_SAFETY_CHECKER=1 unsloth studio
```

2. Installez `cosmos-guardrail` dans l’environnement propre à Unsloth. Si vous chargez un modèle Cosmos 3 sans ce composant, Unsloth affiche un message contenant un bouton **Installer le garde-fou** (pour le compte propriétaire de l’installation), qui l’installe sans redémarrage. Vous pouvez aussi exécuter la commande indiquée dans le message ; une simple commande `pip install` s’exécute dans un autre environnement Python, qui n’est pas utilisé par Unsloth :

```bash
uv pip install --python ~/.unsloth/studio/unsloth_studio/bin/python cosmos-guardrail
```

<figure><img src="https://550366147-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FauTn508CXQokJ7s4B9Yd%2Fcosmos-3-guardrail-install.png?alt=media" alt="Message: the Cosmos safety checker needs cosmos-guardrail, with the install command, the licence link and an Install guardrail button" width="400"><figcaption><p>Le vérificateur de sécurité est activé et cosmos-guardrail est manquant</p></figcaption></figure>

3. Acceptez la licence de [nvidia/Cosmos-1.0-Guardrail](https://huggingface.co/nvidia/Cosmos-1.0-Guardrail) avec votre compte Hugging Face. Le dépôt est soumis à des restrictions d’accès, qui sont levées dès que vous acceptez la licence.
4. Ajoutez le jeton Hugging Face de ce compte dans les **Paramètres**d’Unsloth. Lors du premier chargement d’un modèle Cosmos 3, le garde-fou télécharge ses propres poids depuis ce dépôt.

Lorsque le vérificateur de sécurité est activé, Unsloth vérifie que votre jeton permet d’accéder au dépôt du garde-fou avant de télécharger le modèle. Sans accès, le chargement s’interrompt en quelques secondes plutôt qu’après le téléchargement d’environ 33 Go de Nano.

### Étape 3. Générer une vidéo

Ouvrez **Plus → Vidéo** dans la barre latérale. Cliquez sur le sélecteur de modèle, recherchez **Cosmos3** (ou **Cosmos3-Edge** / **Cosmos3-Nano**) et cliquez sur un modèle. Unsloth le télécharge (la progression s’affiche dans le panneau Téléchargements), puis le charge.

<div><figure><img src="https://550366147-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FzV5LPOvMdCtYikhCnqrC%2Fcosmos-3-more-video.png?alt=media" alt="Sidebar with the More menu open and Video in the list" width="240"><figcaption><p>Plus → Vidéo</p></figcaption></figure> <figure><img src="https://550366147-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FPxq0J6cSeQsu6uDm6RMl%2Fcosmos-3-picker-search.png?alt=media" alt="Video model picker search results with Cosmos3 Nano and Cosmos3 Edge" width="560"><figcaption><p>Résultats de recherche</p></figcaption></figure></div>

Décrivez la scène, puis cliquez sur **Générer**. Commencez en **480p, 16:9, 24 FPS** avec un faible nombre d’images, puis augmentez-le lorsque vous savez que le clip tiendra en mémoire. La page Vidéo ouvre Cosmos3-Edge et Cosmos3-Nano en **832 × 480**, une résolution utilisée lors de l’entraînement, et **Résolutions d’entraînement** indique la résolution utilisée (sur la version v0.1.918-beta et les versions antérieures, ouvrez **Résolutions d’entraînement** et sélectionnez **832 × 480**). Choisissez ensuite une durée. Utilisez une résolution utilisée lors de l’entraînement ; la page vous avertit si ce n’est pas le cas.

Votre résultat apparaît dans la galerie, sous l’aperçu. **Recette** affiche les paramètres du clip et permet de les rétablir, et **Télécharger** enregistre le fichier MP4.

<div><figure><img src="https://550366147-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FQt4SWKQvNu2g1kT1cvZW%2Fcosmos-3-result.png?alt=media" alt="Video page with a finished Cosmos3-Edge clip of a robot arm and a box in a warehouse, and the gallery below"><figcaption><p>Cosmos3-Edge, 832×480, 121 images, environ 16 s</p></figcaption></figure> <figure><img src="https://550366147-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FzAEkzEaTWgMGtnMo5fz6%2Fcosmos-3-recipe.png?alt=media" alt="Generation settings card with prompt, model, size 832 by 480, 121 frames at 24 fps, 20 steps, guidance 6 and seed 42" width="326"><figcaption><p>Carte de recette</p></figcaption></figure></div>

### Étape 4. Image vers vidéo

Dans **Créer**, déposez un fichier image dans le **Image de départ** cadre sous l’invite et décrivez le mouvement souhaité. Cosmos 3 utilise l’image comme conditionnement et génère la suite à partir de celle-ci ; la première image de la séquence reproduit l’image.

<figure><img src="https://550366147-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F3BphTOcb5eLWnkPv0ksE%2Fcosmos-3-settings.png?alt=media" alt="Create settings with a start frame, the aspect ratio set to Match source, 832 by 480, 121 frames, 24 FPS, 20 steps and guidance 6" width="400"><figcaption><p>Image de départ mise en scène sur Cosmos3-Edge</p></figcaption></figure>

Le pipeline redimensionne et recadre l’image de conditionnement aux dimensions de sortie. Faites correspondre le rapport hauteur/largeur cible pour éviter le recadrage ; au format 16:9, la résolution 480p est de 832×480 et la résolution 720p de Nano est de 1280×720.

### Étape 5. Prolonger une séquence (Nano)

Avec Cosmos3-Nano chargé, déposez une vidéo dans **Prolonger une séquence**, choisissez **À partir des dernières images** (ou des premières images), décrivez la suite et cliquez sur **Générer**. Nano conserve cinq images de la séquence et génère la suite à partir de celles-ci. Cette section n’apparaît pas dans Edge.

<figure><img src="https://550366147-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FVAYRy5lq1iqte46gtG88%2Fcosmos-3-continue.png?alt=media" alt="Continue a clip with an uploaded clip and Continue set to From its last frames" width="400"><figcaption><p>Prolonger une séquence</p></figcaption></figure>

### Étape 6. Modifier le style d’une vidéo (Cosmos3-Nano-Sim-Transfer)

L’onglet **Modifier le style** conserve les formes et le mouvement d’une séquence, représentés par des contours Canny, puis les repeint selon votre invite avec Cosmos3-Nano-Sim-Transfer sur stable-diffusion.cpp. Il utilise jusqu’aux 4 premières secondes à 832×480 et 30 FPS, nécessite un GPU NVIDIA avec environ 40 Go de mémoire (environ 30 Go avec un GGUF Q8\_0) et n’a été testé que sous Linux.

<figure><img src="https://550366147-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fw7cDhGvQh2TocbZHDhyA%2Fcosmos-3-restyle.png?alt=media" alt="Restyle tab with the input clip, its edges and the restyled clip side by side"><figcaption><p>Entrée, contours et résultat</p></figcaption></figure>

<figure><img src="https://550366147-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FpftrDXCfsdtBfKbKZRv4%2Fcosmos-3-restyle-strip.gif?alt=media" alt="Animation: the input clip, its Canny edges and the restyled clip playing side by side" width="563"><figcaption><p>121 images en 37,5 s sur une RTX PRO 6000</p></figcaption></figure>

Configurez une fois Modifier le style depuis l’onglet : cliquez sur **Configurer Modifier le style**. Le modèle est téléchargé (environ 35 Go) et nécessite environ 67 Go d’espace disque libre pendant l’exécution et 31 Go ensuite. Unsloth installe son serveur stable-diffusion.cpp, fusionne les fragments du transformeur, convertit le VAE Wan2.2 et affiche la progression ; vous pouvez annuler et reprendre l’opération. Seul le compte propriétaire de l’installation peut l’exécuter. La configuration est refusée d’emblée sous macOS, en l’absence de GPU NVIDIA ou si la mémoire GPU est inférieure à 31 Go ; un GPU disposant de 31 à 42 Go reçoit une version Q8\_0, qui utilise environ 11 Go de mémoire en moins. La configuration de Modifier le style nécessite une version ultérieure à v0.1.918-beta.

<figure><img src="https://550366147-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fhg78J2NonBoxrafLzovl%2Fcosmos-3-restyle-setup.png?alt=media" alt="Restyle tab: Restyle is not set up yet, with the download and disk sizes and a Set up Restyle button" width="400"><figcaption><p>Configurer Modifier le style</p></figcaption></figure>

Avec la version v0.1.918-beta ou une version antérieure, configurez-le manuellement :

1. Téléchargez le transformeur depuis [nvidia/Cosmos3-Nano-Sim-Transfer](https://huggingface.co/nvidia/Cosmos3-Nano-Sim-Transfer) et fusionnez ses fragments avec [`scripts/convert_cosmos3.py`](https://github.com/unslothai/stable-diffusion.cpp/blob/master/scripts/convert_cosmos3.py) depuis unslothai/stable-diffusion.cpp :

```bash
python convert_cosmos3.py Cosmos3-Nano-Sim-Transfer/transformer cosmos3_nano_sim_transfer_bf16.safetensors
```

2. Téléchargez le VAE Wan2.2 dans un fichier unique `wan2.2_vae.safetensors` , indiqué dans le [guide Cosmos 3 de stable-diffusion.cpp](https://github.com/unslothai/stable-diffusion.cpp/blob/master/docs/cosmos3.md).
3. Démarrez Unsloth en définissant les deux chemins :

```bash
UNSLOTH_COSMOS3_TRANSFER_MODEL=/path/to/cosmos3_nano_sim_transfer_bf16.safetensors \
UNSLOTH_COSMOS3_TRANSFER_VAE=/path/to/wan2.2_vae.safetensors \
unsloth studio
```

La configuration manuelle nécessite également le serveur stable-diffusion.cpp d’Unsloth, qu’Unsloth télécharge lors de la première exécution d’un modèle sur stable-diffusion.cpp (par exemple, un modèle d’image GGUF) ; tant que ce n’est pas fait, l’onglet indique qu’il n’est pas configuré. Un GGUF Q8\_0 créé avec `sd-cli -M convert --type q8_0` fonctionne également et utilise environ 11 Go de mémoire en moins. Dans les versions plus récentes, ces deux variables restent prioritaires sur les fichiers gérés par Configurer Modifier le style.

## Ajuster finement le Cosmos 3 Reasoner

NVIDIA indique avoir ajusté finement le raisonneur Cosmos3-Nano avec Unsloth sur un jeu de données public de questions-réponses visuelles en robotique, en obtenant des résultats comparables à ceux de sa pile d’entraînement interne. L’exemple ci-dessous charge le raisonneur de Cosmos3-Edge et lui ajoute des adaptateurs LoRA. Il a été exécuté tel quel avec Unsloth 2026.11.5 et transformers 5.17 sur une RTX PRO 6000 : le modèle s’est chargé avec les correctifs Cosmos3\_Edge d’Unsloth, les adaptateurs LoRA ont été ajoutés (25.2M paramètres entraînables) et le modèle a répondu à une invite textuelle. L’entraînement et l’exportation n’ont pas encore été validés.

```python
from unsloth import FastVisionModel

model, processor = FastVisionModel.from_pretrained(
    "nvidia/Cosmos3-Edge",
    max_seq_length = 4096,
    load_in_4bit = False,
)

model = FastVisionModel.get_peft_model(
    model,
    r = 16,
    lora_alpha = 16,
    finetune_vision_layers   = True,
    finetune_language_layers = True,
)
```

Avant d’entraîner sur votre propre jeu de données de questions-réponses sur des vidéos ou des images, validez l’entraînement LoRA et [l’exportation](https://unsloth.ai/docs/new/studio/export) pour Cosmos 3. Voir [Ajustement fin de modèles de vision](https://unsloth.ai/docs/basics/vision-fine-tuning) pour obtenir des conseils généraux sur le formatage des jeux de données et les hyperparamètres ; ces instructions ne confirment pas à elles seules la prise en charge de l’entraînement de Cosmos 3.

Utilisations courantes : VQA en robotique, raisonnement physique à partir de séquences enregistrées, planification de tâches et prévision d’actions à partir de vidéos.

## Fonctionnalités actuellement prises en charge

| Flux de travail                                           | État                                                                                                                                                                                                   |
| --------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------ |
| Texte vers vidéo (Edge, Nano)                             | Pris en charge                                                                                                                                                                                         |
| Image vers vidéo (Edge, Nano)                             | Pris en charge                                                                                                                                                                                         |
| Continuation de vidéo (Nano)                              | Pris en charge                                                                                                                                                                                         |
| Restylisation vidéo (Cosmos3-Nano-Sim-Transfer)           | Pris en charge ; configuration depuis l’onglet Restyle (configuration manuelle avec la version v0.1.918-beta et antérieure) ; testé sous Linux avec des GPU NVIDIA                                     |
| Chargement du raisonneur, configuration LoRA et inférence | Fonctionne avec l’exemple ci-dessus                                                                                                                                                                    |
| Entraînement et exportation du LoRA du raisonneur         | Pas encore validé                                                                                                                                                                                      |
| Entraînement LoRA vidéo (générateur)                      | Pas encore pris en charge                                                                                                                                                                              |
| Points de contrôle Cosmos 3 préquantifiés                 | NVIDIA a partagé des points de contrôle FP8 Nano, Super et Edge. Nano-FP8 et Edge-FP8 se chargent dans la page Video de Desktop v0.1.920-beta ; le chargement de Super-FP8 n’a pas encore été vérifié. |
| Cosmos3-Super (64B)                                       | Pas encore disponible dans Unsloth                                                                                                                                                                     |

## Dépannage

### Le modèle ne se charge pas et demande le guardrail

Lorsque le vérificateur de sécurité est activé (`UNSLOTH_COSMOS3_SAFETY_CHECKER=1`), cliquez sur **Installer le guardrail** dans le message (ou exécutez la commande indiquée), acceptez la licence de [nvidia/Cosmos-1.0-Guardrail](https://huggingface.co/nvidia/Cosmos-1.0-Guardrail) et ajoutez le jeton Hugging Face de ce compte dans Settings, comme à l’étape 2. Si le jeton ne permet pas d’accéder à ce dépôt, le chargement s’interrompt et affiche ces étapes avant le téléchargement du modèle ; avec la version v0.1.918-beta et antérieure, cette vérification avait lieu après le téléchargement. Dans les versions d’Unsloth antérieures au changement de valeur par défaut, Cosmos3-Nano demande le guardrail même si la variable n’est pas définie : configurez-le, mettez Unsloth à jour ou lancez Unsloth avec `UNSLOTH_COSMOS3_SAFETY_CHECKER=0`.

### Unsloth refuse Cosmos 3 à cause de la version de diffusers

Cosmos 3 nécessite diffusers 0.41 ou une version ultérieure, et Unsloth refuse de charger les versions plus anciennes. Mettez Unsloth à jour ; une version compatible sera installée.

### Le modèle manque de mémoire

Desktop v0.1.920-beta prend en charge Nano-FP8 et Edge-FP8 de NVIDIA dans la page Video ; le chargement de Super-FP8 n’a pas encore été vérifié. Pour réduire l’utilisation de la mémoire :

* Réglez **Mémoire** sur **Équilibré** dans les paramètres. Le transformeur est alors diffusé en INT8 : Nano a utilisé 9,0 Gio à une résolution de 832×480 et pour 49 images, selon les mesures ci-dessus. À partir de la version suivant v0.1.918-beta, **VRAM faible** n’utilise pas plus que Balanced ; sur les versions antérieures, choisissez Balanced.
* Passez à une résolution inférieure, de 480p à 256p.
* Réduisez le nombre d’images. Unsloth accepte de 53 à 149 images pour Edge et de 5 à 397 pour Nano, par incréments de 4.
* Utilisez Cosmos3-Edge (4B) plutôt que Cosmos3-Nano (16B).

### L’option de continuation d’un clip est absente

La continuation vidéo apparaît dans **Créer** uniquement lorsque Cosmos3-Nano est chargé. Cosmos3-Edge ne permet pas de continuer les clips.

### Restyle indique qu’il n’est pas configuré

Cliquez sur **Configurer Restyle** dans l’onglet (étape 6). Si le bouton est absent, le message en indique la raison : l’installation appartient à un autre compte, le GPU dispose de moins de 31 Go, il n’y a pas de GPU NVIDIA ou le système d’exploitation est macOS. Dans la version v0.1.918-beta et les versions antérieures, définissez `UNSLOTH_COSMOS3_TRANSFER_MODEL` et `UNSLOTH_COSMOS3_TRANSFER_VAE` comme indiqué à l’étape 6, puis redémarrez Unsloth ; si le message indique qu’aucun serveur stable-diffusion.cpp n’est installé, exécutez une fois un modèle d’image GGUF sur la page Images pour qu’Unsloth télécharge le serveur.

## FAQ

### Quelle est la différence entre le Generator et le Reasoner ?

Le modèle **Generator** de NVIDIA peut produire des vidéos, du son et des actions. Unsloth génère des vidéos à partir de texte, d’images ou d’un clip, et applique un nouveau style aux vidéos avec Cosmos3-Nano-Sim-Transfer ; la génération de sons et d’actions n’est pas proposée. Le **Reasoner** produit du texte à partir de texte et d’images ; le chargement et la configuration de LoRA fonctionnent avec Unsloth, mais son processus d’entraînement n’a pas encore été validé.

### Avec quel modèle commencer ?

Commencez avec **Cosmos3-Edge (4B)**, le modèle le plus petit et le plus rapide. Prenez comme référence une configuration mesurée dans le tableau de mémoire, sans la considérer comme un minimum garanti. Choisissez **Cosmos3-Nano (16B)** si vous avez besoin d’une sortie en 720p ou de la continuation vidéo.

### Puis-je entraîner le générateur vidéo, et pas seulement le Reasoner ?

Pas encore. À l’heure actuelle, Unsloth n’entraîne pas les LoRA du générateur Cosmos 3.

### Cosmos 3 génère-t-il du son ?

Le modèle de NVIDIA prend en charge le son en plus de la vidéo. Unsloth ne charge pas le tokenizer audio ; ses clips sont donc muets.

### L’exécution se fait-elle entièrement en local ?

Une fois les modèles téléchargés, la génération s’effectue sur votre appareil. Lorsque le vérificateur de sécurité est activé, Unsloth télécharge également les poids du garde-fou depuis Hugging Face lors du premier chargement d’un modèle Cosmos 3.


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://unsloth.ai/docs/fr/modeles/cosmos-3.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
