Comment exécuter localement des modèles de diffusion d'images avec Unsloth

Générez et éditez des images IA sur votre propre ordinateur à l'aide de modèles de diffusion sans écrire de code ni mettre en place un flux de travail complexe. Avec Unsloth, vous pouvez exécuter des modèles comme MiniMax-H3, Qwen-Image-2.1, Z-Image et FLUX localement avec la prise en charge de GGUFs, FP8, LoRAs, des images de référence, et plus encore. Commencez avec une invite textuelle ou une image existante, puis créez, transformez, modifiez, étendez, mettez à l'échelle ou affinez des images à l'aide des outils et flux de travail pris en charge par chaque modèle.

Choisissez parmi MiniMax-H3, Qwen-Image-2.1, Z-Image, LTX, FLUX, SDXL et plus.

Pour créer votre propre LoRA, affinez un modèle pris en charge sur votre jeu de données. Voir Affiner un modèle d'image pour en savoir plus.

⚡ Démarrage rapide

1

Installer ou mettre à jour

L'application de bureau est le moyen le plus simple de commencer.

Télécharger Unsloth Desktop

Suivez l'installateur, puis ouvrez l'application depuis vos applications. Si elle est déjà installée, assurez-vous qu'elle est à jour avant de continuer.

Ligne de commande

Vous préférez le terminal ? Exécutez la commande correspondant à votre système d'exploitation. La même commande mettra à jour une installation existante.

MacOS, Linux, WSL:

curl -fsSL https://unsloth.ai/install.sh | sh

Windows PowerShell:

irm https://unsloth.ai/install.ps1 | iex

Lancer Unsloth

Une fois l'installation terminée, lancez Unsloth :

unsloth studio -H 0.0.0.0 -p 8888

Ouvrir http://localhost:8888 si elle ne s'ouvre pas automatiquement.

2

Ouvrir les images

Sélectionnez Images dans la barre latérale. Le Créer flux de travail s'ouvre par défaut.

Nous sommes maintenant prêts à passer à l'étape suivante.

3

Choisir un modèle

Ouvrir Sélectionnez un modèle d'image et choisissez un modèle dans le sélecteur.

Le Recommandé est un bon point de départ. Pour les modèles GGUF, la meilleure taille pour votre appareil est également indiquée recommandée. Les tailles susceptibles d'être lentes ou de ne pas tenir sont indiquées TROP JUSTE ou OOM.

4

Saisissez une invite

Décrivez l'image que vous souhaitez générer.

Par exemple :

Prise de vue en plongée d'un paisible étang à carpes koï dans un jardin japonais, des koïs orange, blancs et noirs nageant sous l'eau claire, entourés de pas japonais couverts de mousse et de petits ponts en bois, avec des feuilles d'érable rouges flottant à la surface. Lumière vive de milieu de journée, couleurs saturées, reflets nets. Illustration fantaisiste de dessin animé, 50 mm.

Vous pouvez conserver les paramètres recommandés pour votre première image.

5

Générez votre première image

Sélectionnez Générer. La première génération peut prendre plus de temps pendant que le modèle se télécharge et se charge.

Votre résultat apparaîtra dans la galerie, où vous pourrez voir ses paramètres ou le télécharger.

⭐ Fonctionnalités

Les flux de travail disponibles dépendent du modèle que vous chargez. Les flux de travail non pris en charge sont masqués automatiquement.

Créer et éditer des images

• Créer : Générez une image à partir d'une invite textuelle.

• Transformer : Utilisez une image existante comme point de départ pour une nouvelle génération.

• Inpaint : Sélectionnez et régénérez une partie d'une image.

• Étendre : Générez du contenu au-delà de la toile d'origine.

• Mise à l'échelle : Augmentez la résolution d'une image.

• Référence : Guidez une génération avec une ou plusieurs images de référence.

• Modifier : Décrivez les modifications que vous souhaitez apporter à une image.

Modifier nécessite un modèle compatible tel que Qwen-Image-Edit ou FLUX.1 Kontext.

LoRAs et ControlNet

Chargez des LoRAs compatibles pour ajouter un personnage, un sujet ou un style visuel à vos générations. Ajustez le poids du LoRA pour contrôler son influence sur le résultat.

Les modèles pris en charge peuvent également utiliser ControlNet pour guider la structure d'une image. Ajustez sa force pour contrôler dans quelle mesure le résultat suit l'image de guidage.

Galerie

Les images générées sont enregistrées dans la galerie locale. Ouvrez un résultat pour voir son invite et ses paramètres, sélectionnez Recette pour restaurer sa configuration de génération ou télécharger l'image.

Modèles et flux de travail pris en charge

Ce que vous voulez faire	Modèles pour commencer
Générer ou transformer des images	Z-Image, Qwen-Image, FLUX.1, SDXL
Modifier à l'aide d'instructions	Qwen-Image-Edit, FLUX.1 Kontext
Utiliser des images de référence	FLUX.2 klein

D'autres modèles sont disponibles dans le sélecteur de modèles. Les formats et les flux de travail varient selon le modèle, et les flux de travail non pris en charge sont masqués automatiquement.

Paramètres de génération

Les paramètres par défaut constituent un bon point de départ. Cependant, il est possible d'ajuster les paramètres pour obtenir le meilleur résultat ; voici les principaux paramètres que vous pourriez vouloir modifier :

Paramètre	Ce qu'il modifie
Invite	Décrit l'image que vous souhaitez créer. Dans Modifier, cela devient l'instruction à suivre.
Rapport d'aspect et résolution	Définissent la forme et la taille de l'image. Les images plus grandes utilisent plus de mémoire et prennent plus de temps.
Étapes	Contrôlent le temps que le modèle passe à générer. Davantage d'étapes n'améliorent pas toujours le résultat.
Guidage	Contrôle à quel point l'invite guide le résultat. Certains modèles fonctionnent mieux à 0.
Graine	Aide à recréer un résultat. Laissez ce champ vide pour utiliser une graine aléatoire.

Paramètres de génération avancés

Ces contrôles modifient la manière dont le modèle s'exécute sur votre appareil. Ajustez-les pour réduire l'utilisation de la mémoire, améliorer les performances ou dépanner la génération.

Paramètre	Ce qu'il modifie
Vitesse	Contrôle la compilation et les optimisations de performance. Les modes compilés peuvent prendre plus de temps lors de la première génération.
Précision	Modifie le format numérique utilisé pour exécuter le modèle. Une précision plus faible peut réduire l'utilisation de la mémoire. Les options disponibles dépendent du modèle et du matériel.
Attention	Sélectionne l'implémentation d'attention utilisée pendant la génération.
Mémoire	Équilibre la vitesse de génération et l'utilisation de la mémoire GPU. Essayez Faible VRAM si un modèle est proche de votre limite mémoire.
Cache d'étapes	Réutilise certains calculs entre les étapes de diffusion pour améliorer la vitesse de génération.
Déchargement CPU	Déplace des parties du modèle dans la mémoire système. Cela réduit l'utilisation de la mémoire GPU mais peut ralentir la génération.

⚠️ Dépannage

Les images n'apparaissent pas

Mettez à jour vers la dernière version, puis redémarrez l'application. Voir Mise à jour d'Unsloth pour les instructions.

Un modèle ne se télécharge pas ou ne se charge pas

Certains modèles d'image sont volumineux et prennent du temps à télécharger. Vérifiez que vous disposez de suffisamment d'espace de stockage libre et d'une connexion Internet stable.

Certains modèles vous demandent également d'accepter leur licence sur Hugging Face et d'ajouter un jeton Hugging Face avant de les télécharger.

Le modèle manque de mémoire

Essayez une quantification GGUF plus petite ou une version 4 bits du modèle. Pour les modèles GGUF, commencez par la taille indiquée recommandée.

Vous pouvez aussi :

• Réduisez la résolution de l'image.

• Conservez la taille de lot à 1.

• Fermez les autres applications utilisant le GPU.

• Choisissez un modèle plus petit.

Un TROP JUSTE modèle peut utiliser la mémoire système et fonctionner plus lentement. Un modèle marqué OOM n'est probablement pas compatible.

Un flux de travail est manquant

Les flux de travail disponibles dépendent du modèle chargé. Les flux de travail non pris en charge n'apparaîtront pas.

Par exemple, l'édition basée sur des instructions nécessite un modèle tel que Qwen-Image-Edit ou FLUX.1 Kontext.

❓ FAQ

La génération d'images s'exécute-t-elle en local ?

Oui. Une fois qu'un modèle est téléchargé, la génération d'images s'exécute sur votre appareil.

Quelle est la différence entre Transformer et Modifier ?

Transformer redessine une image existante à l'aide d'une invite qui décrit le résultat complet.

Modifier suit des instructions telles que modifier un arrière-plan ou ajouter un objet. Cela nécessite un modèle d'édition compatible.

Puis-je entraîner ma propre LoRA d'image ?

Oui. Affinez un modèle pris en charge sur vos propres images, puis chargez la LoRA terminée dans Créer.

Voir Affiner un modèle d'image pour en savoir plus.