> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/modelle/cosmos-3.md).

# NVIDIA Cosmos 3: Lokal ausführen

NVIDIA Cosmos 3-Weltmodelle mit Unsloth lokal ausführen: Text-zu-Video, Bild-zu-Video, Video-Fortsetzung und Video-Neugestaltung.

**NVIDIA Cosmos 3** ist eine Familie omnimodaler Weltmodelle für Physical AI. **Cosmos3-Nano** (16B) und **Cosmos3-Edge** (4B) laufen in Unsloth für **Text-zu-Video** und **Bild-zu-Video**, und Cosmos3-Nano kann außerdem **einen Clip fortsetzen**. **Cosmos3-Nano-Sim-Transfer** gestaltet ein vorhandenes Video anhand seiner Kanten im **Restyle** -Tab neu. Das Laden und Einrichten von LoRA für den **Reasoner** funktioniert mit Unsloth; das Training des Reasoners wird weiter unten als nicht validiertes Beispiel beschrieben.

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FUUdAGmDpMwHPVOpzFcp4%2Fcosmos-3-nano-t2v.gif?alt=media" alt="Cosmos3-Nano text-to-video: a robot arm places a red box on a pallet beside a conveyor" width="563"><figcaption><p>Cosmos3-Nano, 832×480, 93 Frames, Seed 42, etwa 50 s</p></figcaption></figure>

Cosmos 3 stellt zwei Laufzeitoberflächen bereit. Das **Generator** -Modell kann Text, Bild, Ton und Aktionen als Eingabe entgegennehmen und Video, Ton und Aktionen erzeugen. Unsloth generiert ausschließlich Video: Der Audiotokenizer wird nicht geladen, daher haben die Clips keine Audiospur; Ein- und Ausgabe von Aktionen werden ebenfalls nicht unterstützt. Der **Reasoner** verarbeitet Text und Bild und erzeugt Text für das Verständnis der Welt, physikalisches Schlussfolgern, Aufgabenplanung und Aktionsprognosen.

Text-zu-Video, Bild-zu-Video und das Fortsetzen von Clips laufen lokal über die Diffusers-Pipeline Cosmos3OmniPipeline. Restyle führt Cosmos3-Nano-Sim-Transfer mit stable-diffusion.cpp aus.

* **Cosmos3-Edge (4B):** [Hugging Face](https://huggingface.co/nvidia/Cosmos3-Edge)
* **Cosmos3-Nano (16B):** [Hugging Face](https://huggingface.co/nvidia/Cosmos3-Nano)
* **Cosmos3-Nano-Sim-Transfer:** [Hugging Face](https://huggingface.co/nvidia/Cosmos3-Nano-Sim-Transfer)
* **Dokumentation:** [NVIDIA Cosmos-Dokumentation](https://docs.nvidia.com/cosmos/latest/cosmos3/model_reference.html) und das [Cosmos-Repository](https://github.com/NVIDIA/cosmos)

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FwOasrmOzKWt7wJQLju9g%2Fcosmos-3-flow.gif?alt=media" alt="Animation: search Cosmos3 in the Video model picker, pick Cosmos3 Edge, wait for the download and load, add a start frame, click Generate and get a robot arm clip" width="563"><figcaption><p>Der Unsloth-Workflow mit Cosmos3-Edge, beschleunigt</p></figcaption></figure>

{% hint style="info" %}
**Hinweis**

Die Unterstützung für den Cosmos-3-Generator wurde mit [PR #14554](https://github.com/unslothai/unsloth/pull/14554). Für die Generierung mit 256p, modellspezifische Bildraten, Cosmos3-Nano in der Modellauswahl, das Fortsetzen von Nano-Videos und Restyle ist Unsloth v0.1.917-beta oder neuer erforderlich. Die Version nach v0.1.918-beta enthält die Änderungen aus [PR #18116](https://github.com/unslothai/unsloth/pull/18116): die standardmäßig deaktivierte Sicherheitsprüfung (Schritt 2), die Schaltfläche **Restyle einrichten** (Schritt 6), **Wenig VRAM** nutzt niemals mehr Speicher als „Ausgewogen“, und die Videoseite wird mit der trainierten Auflösung von 832×480 geöffnet. Siehe [Unsloth aktualisieren](https://unsloth.ai/docs/get-started/install/updating).
{% endhint %}

## Speicherbedarf und Geschwindigkeit

Gemessen mit Unsloth (main, 16. November) auf einer NVIDIA RTX PRO 6000 (96 GB), jeweils ein Clip, Seed 42 und Standardeinstellungen des Modells (Edge: 20 Schritte, Nano: 35 Schritte, Guidance: 6, 24 FPS). Der Spitzen-VRAM-Verbrauch bezieht sich auf die gesamte GPU und wurde mit `nvidia-smi`in einer frisch gestarteten Sitzung ermittelt. Dies sind gemessene Konfigurationen, keine Mindestanforderungen an die Hardware.

| Modell                        | Modus                      | Speicher                     | Einstellungen               | Zeit    | Maximaler VRAM |
| ----------------------------- | -------------------------- | ---------------------------- | --------------------------- | ------- | -------------- |
| **Cosmos3-Edge (4B)**         | Text-zu-Video              | Automatisch (resident)       | 832×480, 53 Frames          | 6,8 s   | 13,6 GiB       |
| **Cosmos3-Edge (4B)**         | Text-zu-Video              | Automatisch (resident)       | 832×480, 121 Frames         | 16,6 s  | 14,0 GiB       |
| **Cosmos3-Edge (4B)**         | Text-zu-Video              | Automatisch (resident)       | 832×480, 149 Frames         | 20,4 s  | 13,7 GiB       |
| **Cosmos3-Edge (4B)**         | Bild-zu-Video              | Automatisch (resident)       | 832×480, 121 Frames         | 15,9 s  | etwa 15 GiB    |
| **Cosmos3-Edge (4B)**         | Text-zu-Video              | Ausgewogen (INT8, gestreamt) | 832×480, 121 Frames         | 23,5 s  | 7,6 GiB        |
| **Cosmos3-Nano (16B)**        | Text-zu-Video              | Automatisch (resident)       | 832×480, 93 Frames          | 49,8 s  | 36,4 GiB       |
| **Cosmos3-Nano (16B)**        | Text-zu-Video              | Automatisch (resident)       | 832×480, 189 Frames         | 118,8 s | 36,8 GiB       |
| **Cosmos3-Nano (16B)**        | Text-zu-Video              | Automatisch (resident)       | 1280×720, 189 Frames        | 394,9 s | 44,8 GiB       |
| **Cosmos3-Nano (16B)**        | Bild-zu-Video, Fortsetzung | Automatisch (resident)       | 832×480, 49 Frames          | 23,8 s  | unter 43 GiB   |
| **Cosmos3-Nano (16B)**        | Text-zu-Video              | Ausgewogen (INT8, gestreamt) | 832×480, 49 Frames          | 41,6 s  | 9,0 GiB        |
| **Cosmos3-Nano-Sim-Transfer** | Restyle (BF16)             | sd.cpp                       | 832×480, 121 Frames, 30 FPS | 37,5 s  | 39,8 GiB       |
| **Cosmos3-Nano-Sim-Transfer** | Restyle (Q8\_0 GGUF)       | sd.cpp                       | 832×480, 121 Frames, 30 FPS | 37,2 s  | 29,0 GiB       |

Das Laden aus dem lokalen Cache dauerte auf diesem Rechner bei beiden Modellen etwa 8 Sekunden. Der erste Download dauerte bei Edge (9,2 GB) etwa 1 Minute und bei Nano (etwa 33 GB; der Sound-Tokenizer wird übersprungen) etwa 3 Minuten. Mit **Speicher: Automatisch** Wenn die Gewichte nicht auf eine GPU passen, wählt Unsloth automatisch einen Offload-Modus aus. **Ausgewogen** streamt den Transformer und quantisiert ihn beim Laden auf INT8: Bei Edge sank der Speicherbedarf bei 121 Frames von 14,0 GiB auf 7,6 GiB. Nano benötigte bei 49 Frames 9,0 GiB, obwohl allein die im Speicher verbleibenden Gewichte etwa 31 GiB belegen, bei etwa 1,5-mal längerer Zeit pro Schritt. In Version v0.1.918-beta und früher **Wenig VRAM** benötigte bei Cosmos 3 mehr Speicher als „Ausgewogen“ (18,9 GiB bei Nano). Ab der nächsten Version streamt der Modus den Transformer und den Text-Encoder, sodass der Spitzenwert nie über dem von „Ausgewogen“ liegt: Auf derselben GPU sank der Spitzenwert für Nano im Modus „Wenig VRAM“ von 18,9 GiB auf 8,4 GiB und für Edge von 8,6 GiB auf 7,6 GiB – bei der Geschwindigkeit von „Ausgewogen“.

NVIDIA hat vorquantisierte FP8-Checkpoints für Cosmos3-Nano, Cosmos3-Super und Cosmos3-Edge bereitgestellt. Unsloth Desktop v0.1.920-beta unterstützt das Laden von Nano-FP8 und Edge-FP8 auf der Videoseite, ohne zusätzliches NVIDIA-Paket. Das Laden von Super-FP8 in Studio ist noch nicht verifiziert. Unsloths INT8-Quantisierung erfolgt beim Laden; BF16 ist die Standardpräzision. Bei deaktivierten Geschwindigkeitsoptimierungen stimmte die Ausgabe von Unsloth bei gleichem Seed bis auf durch die Videokodierung verursachte Abweichungen mit der unveränderten Diffusers-Pipeline überein. Die standardmäßigen Geschwindigkeitseinstellungen erzeugen dieselbe Szene und Bewegung, mit kleinen Detailunterschieden.

## Unterstützte Generierungseinstellungen

| Einstellung            | Unterstützte Werte                                                                                                       |
| ---------------------- | ------------------------------------------------------------------------------------------------------------------------ |
| **Auflösungsstufen**   | Nano: 256p, 480p, 720p. Edge: 256p, 480p. Wird keine Größe angegeben, verwendet Nano 1280×720 und Edge 832×480.          |
| **Seitenverhältnisse** | 16:9, 4:3, 1:1, 3:4, 9:16 bei 480p und 720p. Die Größen für 256p sind 320×192, 192×320, 256×256, 320×256 und 256×320.    |
| **Bildraten**          | Nano: 10, 16, 24 oder 30 FPS. Edge: 12–30 FPS. Standard: 24 FPS bei beiden.                                              |
| **Anzahl der Frames**  | Nano: 5–397 (Standard: 189). Edge: 53–149 (Standard: 121). Bei beiden muss die Frame-Anzahl dem Muster 4k+1 entsprechen. |
| **Präzision**          | BF16 oder INT8, das von den Speichermodi „Ausgewogen“ und „Wenig VRAM“ beim Laden angewendet wird                        |
| **GPU-Architekturen**  | Die Messungen hier wurden auf einer NVIDIA RTX PRO 6000 (Blackwell) durchgeführt. Andere GPUs wurden nicht getestet.     |

Unsloth lehnt Einstellungen außerhalb dieser Bereiche mit einer Meldung ab, die den nächstliegenden unterstützten Wert nennt. Bei einer Anfrage für 50 Frames auf Edge wird beispielsweise 53 vorgeschlagen.

{% hint style="warning" %}
**Wichtig**

**Cosmos3-Edge** unterstützt in Unsloth 256p und 480p, 12–30 FPS sowie Frame-Anzahlen von 53–149 (Standard: 121). Clips können damit nicht fortgesetzt werden. Nano setzt einen Clip anhand von fünf Konditionierungs-Frames fort. Für Restyle wird das separate Modell Cosmos3-Nano-Sim-Transfer verwendet.
{% endhint %}

Bei einer Ausgabe im Seitenverhältnis 16:9 **verwendet die visuelle Konditionierung** bei 720p eine Auflösung von 1280×720 und bei 480p eine Auflösung von 832×480. Die Pipeline skaliert und beschneidet Konditionierungsbilder auf die Ausgabegröße. Wenn das Seitenverhältnis der Bilder dem der Ausgabe entspricht, wird ein Beschnitt vermieden. Bei der Fortsetzung von Nano-Videos bleiben fünf Konditionierungs-Frames erhalten. Weltgenerierungs-Prompts sollten ungefähr 300 Wörter nicht überschreiten.

## Schnellstart

### Schritt 1. Unsloth einrichten

Am einfachsten gelingt der Einstieg, wenn Sie die [Unsloth-Desktop-App](https://unsloth.ai/docs/desktop)herunterladen. Sie funktioniert unter [macOS](https://unsloth.ai/docs/get-started/install/mac), [Windows](https://unsloth.ai/docs/get-started/install/windows-installation)und [Linux](https://unsloth.ai/docs/get-started/install/linux).

Oder installieren Sie die App manuell. macOS, Linux, WSL:

```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```

Windows PowerShell:

```powershell
irm https://unsloth.ai/install.ps1 | iex
```

Unsloth installiert eine Diffusers-Version, mit der Cosmos 3 ausgeführt werden kann. Für Cosmos3-Edge ist daher nichts Weiteres erforderlich. Unsloth verweigert die Ausführung von Cosmos 3 mit Diffusers-Versionen älter als 0.41 und zeigt eine Meldung mit Hinweisen zur Aktualisierung an.

### Schritt 2. (Optional) Sicherheitsprüfung aktivieren

Die Modell-Repositories für Cosmos 3 sind nicht zugangsbeschränkt, und der Inhalts-Sicherheitsfilter von NVIDIA (die Cosmos-Schutzfunktion) ist **standardmäßig deaktiviert** und zwar in Unsloth für jedes Cosmos-3-Modell. Sie können diesen Schritt also überspringen. Im Ladeprotokoll wird angezeigt, wenn die Funktion deaktiviert ist. Für diese Standardeinstellung ist eine Version nach v0.1.918-beta erforderlich. In früheren Versionen ist die Schutzfunktion für Cosmos3-Nano aktiviert, und das Laden wird verweigert, bis sie eingerichtet oder `UNSLOTH_COSMOS3_SAFETY_CHECKER=0` gesetzt ist.

So aktivieren Sie die Sicherheitsprüfung:

1. Unsloth mit aktiviertem Sicherheitsprüfer starten:

```bash
UNSLOTH_COSMOS3_SAFETY_CHECKER=1 unsloth studio
```

2. Installieren `cosmos-guardrail` in die eigene Umgebung von Unsloth. Wenn Sie ein Cosmos-3-Modell ohne diese Komponente laden, zeigt Unsloth eine Meldung mit einer Schaltfläche **Guardrail installieren** an (für das Konto, dem die Installation gehört). Damit wird die Komponente ohne Neustart installiert. Alternativ können Sie den in der Meldung angezeigten Befehl ausführen. Ein einfaches `pip install` würde eine andere Python-Installation verwenden, die Unsloth nicht nutzt:

```bash
uv pip install --python ~/.unsloth/studio/unsloth_studio/bin/python cosmos-guardrail
```

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FauTn508CXQokJ7s4B9Yd%2Fcosmos-3-guardrail-install.png?alt=media" alt="Message: the Cosmos safety checker needs cosmos-guardrail, with the install command, the licence link and an Install guardrail button" width="400"><figcaption><p>Der Sicherheitsprüfer ist aktiviert, aber cosmos-guardrail fehlt</p></figcaption></figure>

3. Akzeptieren Sie die Lizenz von [nvidia/Cosmos-1.0-Guardrail](https://huggingface.co/nvidia/Cosmos-1.0-Guardrail) mit Ihrem Hugging-Face-Konto. Das Repository ist zugangsbeschränkt. Der Zugriff wird unmittelbar nach Ihrer Zustimmung freigegeben.
4. Fügen Sie in Unsloth unter **Einstellungen**das Hugging-Face-Token dieses Kontos hinzu. Beim ersten Laden eines Cosmos-3-Modells lädt das Guardrail seine eigenen Gewichte aus diesem Repository herunter.

Bei aktiviertem Sicherheitsprüfer prüft Unsloth vor dem Herunterladen des Modells, ob Ihr Token Zugriff auf das Guardrail-Repository hat. Ohne Zugriff wird der Ladevorgang innerhalb weniger Sekunden abgebrochen, statt erst nach dem Download des etwa 33 GB großen Nano-Modells.

### Schritt 3: Video generieren

Öffnen Sie **Mehr → Video** in der Seitenleiste. Klicken Sie auf die Modellauswahl, suchen Sie nach **Cosmos3** (oder **Cosmos3-Edge** / **Cosmos3-Nano**) und wählen Sie ein Modell aus. Unsloth lädt es herunter (der Fortschritt wird im Bereich „Downloads“ angezeigt) und lädt es anschließend.

<div><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FzV5LPOvMdCtYikhCnqrC%2Fcosmos-3-more-video.png?alt=media" alt="Sidebar with the More menu open and Video in the list" width="240"><figcaption><p>Mehr → Video</p></figcaption></figure> <figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FPxq0J6cSeQsu6uDm6RMl%2Fcosmos-3-picker-search.png?alt=media" alt="Video model picker search results with Cosmos3 Nano and Cosmos3 Edge" width="560"><figcaption><p>Suchergebnisse</p></figcaption></figure></div>

Beschreiben Sie die Szene und klicken Sie auf **Generieren**. Beginnen Sie mit **480p, 16:9, 24 FPS** und einer niedrigen Bildanzahl. Erhöhen Sie diese, sobald Sie wissen, dass der Clip in den Speicher passt. Auf der Videoseite werden Cosmos3-Edge und Cosmos3-Nano mit **832 × 480**geöffnet, einer trainierten Auflösung. Unter **Trainierte Auflösungen** wird die verwendete Auflösung angezeigt (in v0.1.918-beta und älteren Versionen öffnen Sie **Trainierte Auflösungen** und wählen Sie **832 × 480**). Wählen Sie anschließend eine Dauer. Verwenden Sie eine trainierte Auflösung. Die Seite warnt, wenn die gewählte Auflösung nicht dazugehört.

Ihr Ergebnis erscheint in der Galerie unter der Vorschau. **Rezept** zeigt die Einstellungen des Clips an und kann sie wiederherstellen. Mit **Herunterladen** speichern Sie die MP4-Datei.

<div><figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FQt4SWKQvNu2g1kT1cvZW%2Fcosmos-3-result.png?alt=media" alt="Video page with a finished Cosmos3-Edge clip of a robot arm and a box in a warehouse, and the gallery below"><figcaption><p>Cosmos3-Edge, 832×480, 121 Bilder, etwa 16 s</p></figcaption></figure> <figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FzAEkzEaTWgMGtnMo5fz6%2Fcosmos-3-recipe.png?alt=media" alt="Generation settings card with prompt, model, size 832 by 480, 121 frames at 24 fps, 20 steps, guidance 6 and seed 42" width="326"><figcaption><p>Rezeptkarte</p></figcaption></figure></div>

### Schritt 4: Bild zu Video

Unter **Erstellen**, lege eine Bilddatei auf das **Startbild** Feld unter der Eingabeaufforderung und beschreibe die gewünschte Bewegung. Cosmos 3 verwendet das Bild als Bedingung und generiert ab diesem Bild weiter; das erste Bild des Clips entspricht dem Bild.

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F3BphTOcb5eLWnkPv0ksE%2Fcosmos-3-settings.png?alt=media" alt="Create settings with a start frame, the aspect ratio set to Match source, 832 by 480, 121 frames, 24 FPS, 20 steps and guidance 6" width="400"><figcaption><p>Startbild, bereitgestellt für Cosmos3-Edge</p></figcaption></figure>

Die Pipeline skaliert und beschneidet dein Eingabebild auf die Ausgabegröße. Passe das Seitenverhältnis an das Ziel an, um Beschnitt zu vermeiden. Bei 16:9 sind 480p 832×480 und Nanos 720p 1280×720.

### Schritt 5: Einen Clip fortsetzen (Nano)

Wenn Cosmos3-Nano geladen ist, ziehe ein Video auf **Clip fortsetzen**, wähle **Ab den letzten Bildern** (oder ab den ersten Bildern), beschreibe, was als Nächstes passiert, und klicke auf **Generieren**. Nano übernimmt fünf Bilder des Clips und generiert ab dort weiter. Bei Edge wird dieser Abschnitt nicht angezeigt.

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FVAYRy5lq1iqte46gtG88%2Fcosmos-3-continue.png?alt=media" alt="Continue a clip with an uploaded clip and Continue set to From its last frames" width="400"><figcaption><p>Clip fortsetzen</p></figcaption></figure>

### Schritt 6: Ein Video neu gestalten (Cosmos3-Nano-Sim-Transfer)

Der **Neugestalten** -Tab behält die Formen und Bewegungen eines Clips bei, die als Canny-Kanten nachgezeichnet werden, und malt ihn anhand deiner Eingabeaufforderung mit Cosmos3-Nano-Sim-Transfer in stable-diffusion.cpp neu. Es werden bis zu den ersten 4 Sekunden mit 832×480 und 30 FPS verwendet. Dafür ist eine NVIDIA-GPU mit etwa 40 GB Speicher erforderlich (etwa 30 GB mit einem Q8\_0-GGUF). Getestet wurde die Funktion nur unter Linux.

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fw7cDhGvQh2TocbZHDhyA%2Fcosmos-3-restyle.png?alt=media" alt="Restyle tab with the input clip, its edges and the restyled clip side by side"><figcaption><p>Eingabe, Kanten und Ergebnis</p></figcaption></figure>

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FpftrDXCfsdtBfKbKZRv4%2Fcosmos-3-restyle-strip.gif?alt=media" alt="Animation: the input clip, its Canny edges and the restyled clip playing side by side" width="563"><figcaption><p>121 Bilder in 37,5 s auf einer RTX PRO 6000</p></figcaption></figure>

Richte „Neugestalten“ einmalig über den Tab ein: Klicke auf **„Neugestalten einrichten“**. Dabei wird das Modell heruntergeladen (etwa 35 GB). Währenddessen werden etwa 67 GB freier Speicherplatz benötigt, danach 31 GB. Unsloth installiert den stable-diffusion.cpp-Server, führt die Transformer-Shards zusammen, konvertiert den Wan2.2-VAE und zeigt den Fortschritt an. Du kannst den Vorgang abbrechen und fortsetzen. Ausführen kann die Funktion nur das Konto, dem die Installation gehört. Auf macOS, ohne NVIDIA-GPU oder mit weniger als 31 GB GPU-Speicher wird die Einrichtung sofort abgelehnt. Bei einer GPU mit 31 bis 42 GB wird eine Q8\_0-Kopie verwendet, die etwa 11 GB weniger Speicher benötigt. „Neugestalten einrichten“ erfordert eine Version nach v0.1.918-beta.

<figure><img src="https://797013937-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fhg78J2NonBoxrafLzovl%2Fcosmos-3-restyle-setup.png?alt=media" alt="Restyle tab: Restyle is not set up yet, with the download and disk sizes and a Set up Restyle button" width="400"><figcaption><p>Neugestalten einrichten</p></figcaption></figure>

Richte die Funktion unter v0.1.918-beta und älteren Versionen manuell ein:

1. Lade den Transformer herunter von [nvidia/Cosmos3-Nano-Sim-Transfer](https://huggingface.co/nvidia/Cosmos3-Nano-Sim-Transfer) und führe seine Shards mit [`scripts/convert_cosmos3.py`](https://github.com/unslothai/stable-diffusion.cpp/blob/master/scripts/convert_cosmos3.py) aus unslothai/stable-diffusion.cpp zusammen:

```bash
python convert_cosmos3.py Cosmos3-Nano-Sim-Transfer/transformer cosmos3_nano_sim_transfer_bf16.safetensors
```

2. Lade den Wan2.2-VAE als einzelne Datei `wan2.2_vae.safetensors` herunter, wie in der Anleitung zu [Cosmos 3 für stable-diffusion.cpp](https://github.com/unslothai/stable-diffusion.cpp/blob/master/docs/cosmos3.md).
3. Starte Unsloth mit beiden festgelegten Pfaden:

```bash
UNSLOTH_COSMOS3_TRANSFER_MODEL=/path/to/cosmos3_nano_sim_transfer_bf16.safetensors \
UNSLOTH_COSMOS3_TRANSFER_VAE=/path/to/wan2.2_vae.safetensors \
unsloth studio
```

Für die manuelle Einrichtung wird außerdem Unsloths stable-diffusion.cpp-Server benötigt. Unsloth lädt ihn beim ersten Ausführen eines Modells mit stable-diffusion.cpp herunter (zum Beispiel eines GGUF-Bildmodells). Bis dahin zeigt der Tab an, dass die Einrichtung noch nicht erfolgt ist. Ein mit `sd-cli -M convert --type q8_0` erstelltes Q8\_0-GGUF funktioniert ebenfalls und benötigt etwa 11 GB weniger Speicher. In neueren Versionen haben diese beiden Variablen weiterhin Vorrang vor den Dateien, die „Neugestalten einrichten“ verwaltet.

## Den Cosmos 3 Reasoner feinabstimmen

NVIDIA berichtet, den Cosmos3-Nano-Reasoner mit Unsloth auf einem öffentlichen VQA-Datensatz aus der Robotik feinabgestimmt und damit den eigenen Trainings-Stack reproduziert zu haben. Das folgende Beispiel lädt den Reasoner von Cosmos3-Edge und fügt LoRA-Adapter hinzu. Es wurde wie gezeigt mit Unsloth 2026.11.5 und transformers 5.17 auf einer RTX PRO 6000 ausgeführt: Das Modell wurde mit Unsloths Cosmos3\_Edge-Patches geladen, die LoRA-Adapter wurden hinzugefügt (25,2 Mio. trainierbare Parameter) und das Modell beantwortete eine Texteingabeaufforderung. Training und Export wurden noch nicht validiert.

```python
from unsloth import FastVisionModel

model, processor = FastVisionModel.from_pretrained(
    "nvidia/Cosmos3-Edge",
    max_seq_length = 4096,
    load_in_4bit = False,
)

model = FastVisionModel.get_peft_model(
    Modell,
    r = 16,
    lora_alpha = 16,
    finetune_vision_layers   = True,
    finetune_language_layers = True,
)
```

Bevor Sie mit Ihrem eigenen Video- oder Bild-QA-Datensatz trainieren, überprüfen Sie das LoRA-Training und den [Export](https://unsloth.ai/docs/new/studio/export) für Cosmos 3. Siehe [Vision Fine-tuning](https://unsloth.ai/docs/basics/vision-fine-tuning) für allgemeine Hinweise zur Formatierung von Datensätzen und zu Hyperparametern; diese Anweisungen bestätigen für sich genommen nicht, dass Cosmos 3 unterstützt wird.

Typische Anwendungsfälle: Robotik-VQA, physikalisches Schlussfolgern anhand aufgezeichneter Aufnahmen, Aufgabenplanung und Vorhersage von Aktionen aus Videos.

## Was derzeit unterstützt wird

| Workflow                                               | Status                                                                                                                                                                                                        |
| ------------------------------------------------------ | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
| Text-zu-Video (Edge, Nano)                             | Unterstützt                                                                                                                                                                                                   |
| Bild-zu-Video (Edge, Nano)                             | Unterstützt                                                                                                                                                                                                   |
| Video-Fortsetzung (Nano)                               | Unterstützt                                                                                                                                                                                                   |
| Video-Restyle (Cosmos3-Nano-Sim-Transfer)              | Unterstützt; Einrichtung über den Tab „Restyle“ (manuelle Einrichtung bei v0.1.918-beta und älter); unter Linux mit NVIDIA-GPUs getestet                                                                      |
| Reasoner laden, LoRA einrichten und Inferenz ausführen | Funktioniert mit dem obigen Beispiel                                                                                                                                                                          |
| Reasoner-LoRA-Training und -Export                     | Noch nicht validiert                                                                                                                                                                                          |
| LoRA-Training für Video (Generator)                    | Noch nicht unterstützt                                                                                                                                                                                        |
| Vorquantisierte Cosmos-3-Checkpoints                   | NVIDIA hat Nano-, Super- und Edge-FP8-Checkpoints bereitgestellt. Nano-FP8 und Edge-FP8 lassen sich in Desktop v0.1.920-beta auf der Seite „Video“ laden; das Laden von Super-FP8 ist noch nicht verifiziert. |
| Cosmos3-Super (64B)                                    | Derzeit nicht in Unsloth verfügbar                                                                                                                                                                            |

## Fehlerbehebung

### Das Modell wird nicht geladen und fordert das Guardrail an

Wenn der Sicherheitsprüfer aktiviert ist (`UNSLOTH_COSMOS3_SAFETY_CHECKER=1`), klicken Sie in der Meldung auf **Guardrail installieren** (oder führen Sie den angezeigten Befehl aus), akzeptieren Sie die Lizenz für [nvidia/Cosmos-1.0-Guardrail](https://huggingface.co/nvidia/Cosmos-1.0-Guardrail) und fügen Sie unter „Einstellungen“ das Hugging-Face-Token dieses Kontos hinzu, wie in Schritt 2 beschrieben. Wenn das Token keinen Zugriff auf dieses Repository hat, wird das Laden mit diesen Schritten abgebrochen, bevor das Modell heruntergeladen wird; bei v0.1.918-beta und älter erfolgte diese Prüfung erst nach dem Download. Bei Unsloth-Versionen vor der Änderung des Standardverhaltens fordert Cosmos3-Nano das Guardrail auch ohne die Variable an: Richten Sie es ein, aktualisieren Sie Unsloth oder starten Sie Unsloth mit `UNSLOTH_COSMOS3_SAFETY_CHECKER=0`.

### Unsloth verweigert Cosmos 3 wegen der diffusers-Version

Cosmos 3 benötigt diffusers 0.41 oder neuer, und Unsloth verweigert beim Laden ältere Versionen. Aktualisieren Sie Unsloth; dabei wird eine kompatible Version installiert.

### Dem Modell geht der Speicher aus

Desktop v0.1.920-beta unterstützt NVIDIA Nano-FP8 und Edge-FP8 auf der Seite „Video“; das Laden von Super-FP8 ist noch nicht verifiziert. So lässt sich der Speicherbedarf verringern:

* Stellen Sie **Speicher** auf **Ausgewogen** in den Einstellungen. Dadurch wird der Transformer in INT8 gestreamt: Nano benötigte bei 832×480 und 49 Frames in den obigen Messungen 9,0 GiB. Ab der Version nach v0.1.918-beta ist **Wenig VRAM** verwendet höchstens „Balanced“; bei früheren Versionen wählen Sie „Balanced“.
* Wechseln Sie zu einer niedrigeren Auflösungsstufe, von 480p bis hinunter zu 256p.
* Reduzieren Sie die Anzahl der Frames. Unsloth akzeptiert 53–149 Frames für Edge und 5–397 für Nano, jeweils in Schritten von 4.
* Verwenden Sie Cosmos3-Edge (4B) statt Cosmos3-Nano (16B).

### „Clip fortsetzen“ fehlt

Die Videofortsetzung wird nur unter **Erstellen** angezeigt, wenn Cosmos3-Nano geladen ist. Cosmos3-Edge setzt keine Clips fort.

### Restyle meldet, dass es nicht eingerichtet ist

Klicken Sie auf **Restyle einrichten** im Tab (Schritt 6). Fehlt die Schaltfläche, wird in der Meldung der Grund genannt: Die Installation gehört zu einem anderen Konto, die GPU hat weniger als 31 GB, es ist keine NVIDIA-GPU vorhanden oder das Betriebssystem ist macOS. Bei v0.1.918-beta und früher legen Sie `UNSLOTH_COSMOS3_TRANSFER_MODEL` und `UNSLOTH_COSMOS3_TRANSFER_VAE` wie in Schritt 6 fest und starten Unsloth neu. Meldet die Anwendung, dass kein stable-diffusion.cpp-Server installiert ist, führen Sie einmal auf der Seite „Bilder“ ein GGUF-Bildmodell aus, damit Unsloth den Server herunterlädt.

## FAQ

### Was ist der Unterschied zwischen Generator und Reasoner?

NVIDIAs **Generator** -Modell kann Videos, Ton und Aktionen erzeugen. Unsloth generiert Videos aus Text, Bildern oder einem Clip und gestaltet Videos mit Cosmos3-Nano-Sim-Transfer um. Die Erzeugung von Ton und Aktionen ist nicht verfügbar. Der **Reasoner** erzeugt Text aus Text und visuellen Eingaben. Laden und LoRA-Einrichtung funktionieren mit Unsloth; der Trainingsablauf wurde noch nicht validiert.

### Mit welchem Modell sollte ich anfangen?

Beginnen Sie mit **Cosmos3-Edge (4B)**, dem kleineren und schnelleren Modell. Verwenden Sie eine gemessene Konfiguration aus der Speichertabelle als Richtwert, nicht als garantierten Mindestwert. Wählen Sie **Cosmos3-Nano (16B)** wenn Sie eine 720p-Ausgabe oder die Fortsetzung von Videos benötigen.

### Kann ich den Videogenerator trainieren und nicht nur den Reasoner?

Noch nicht. Unsloth trainiert derzeit keine Cosmos-3-Generator-LoRAs.

### Erzeugt Cosmos 3 Ton?

NVIDIAs Modell unterstützt neben Video auch Ton. Unsloth lädt den Audio-Tokenizer nicht, daher enthalten die Clips keinen Ton.

### Läuft das vollständig lokal?

Sobald die Modelle heruntergeladen sind, läuft die Generierung auf Ihrem Gerät. Wenn die Sicherheitsprüfung aktiviert ist, lädt Unsloth außerdem beim ersten Laden eines Cosmos-3-Modells die Gewichte der Schutzmechanismen von Hugging Face herunter.


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://unsloth.ai/docs/de/modelle/cosmos-3.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
