Comment exécuter localement des modèles de diffusion d'images avec Unsloth

Générez et modifiez des images IA sur votre propre ordinateur à l’aide de modèles de diffusion, sans écrire de code ni mettre en place un flux de travail complexe. Avec Unsloth, vous pouvez exécuter des modèles comme MiniMax-H3, Z-Image et FLUX localement avec la prise en charge de GGUF, FP8, LoRA, des images de référence, et plus encore. Commencez par une requête textuelle ou une image existante, puis créez, transformez, modifiez, étendez, mettez à l’échelle ou affinez des images à l’aide des outils et des flux de travail pris en charge par chaque modèle.

Choisissez parmi MiniMax-H3, Z-Image, LTX, Qwen-Image, FLUX, SDXL et plus encore.

Pour créer votre propre LoRA, affinez un modèle pris en charge sur votre ensemble de données. Voir Ajuster finement un modèle d’image pour en savoir plus.

⚡ Démarrage rapide

1

Installez ou mettez à jour

L’application de bureau est le moyen le plus simple de commencer.

Télécharger Unsloth Desktop

Suivez l’installateur, puis ouvrez l’application depuis vos applications. Si elle est déjà installée, assurez-vous qu’elle est à jour avant de continuer.

Ligne de commande

Vous préférez le terminal ? Exécutez la commande correspondant à votre système d’exploitation. La même commande mettra à jour une installation existante.

MacOS, Linux, WSL :

curl -fsSL https://unsloth.ai/install.sh | sh

Windows PowerShell :

irm https://unsloth.ai/install.ps1 | iex

Lancer Unsloth

Une fois l’installation terminée, lancez Unsloth :

unsloth studio -H 0.0.0.0 -p 8888

Ouvrir http://localhost:8888 s’il ne s’ouvre pas automatiquement.

2

Ouvrir les images

Sélectionnez Images dans la barre latérale. Le flux de travail Créer s’ouvre par défaut.

Nous sommes maintenant prêts à passer à l’étape suivante.

3

Choisissez un modèle

Ouvrir Sélectionnez un modèle d’image et choisissez un modèle dans le sélecteur.

L’onglet Recommandé est un bon point de départ. Pour les modèles GGUF, la meilleure taille pour votre appareil est également indiquée comme recommandée. Les tailles qui risquent d’être lentes ou de ne pas tenir sont indiquées comme À L’ÉTROIT ou OOM.

4

Saisissez une requête

Décrivez l’image que vous souhaitez générer.

Par exemple :

Vue plongeante d’un étang paisible rempli de carpes koï dans un jardin japonais, des carpes orange, blanches et noires nageant sous l’eau claire, entourées de pas japonais couverts de mousse et de petits ponts en bois, avec des feuilles d’érable rouges flottant à la surface. Lumière vive de midi, couleur saturée, reflets nets. Illustration de dessin animé fantaisiste, 50 mm.

Vous pouvez conserver les paramètres recommandés pour votre première image.

5

Générez votre première image

Sélectionnez Générer. La première génération peut prendre plus de temps pendant le téléchargement et le chargement du modèle.

Votre résultat apparaîtra dans la galerie, où vous pourrez voir ses paramètres ou le télécharger.

⭐ Fonctionnalités

Les flux de travail disponibles dépendent du modèle que vous chargez. Les flux de travail non pris en charge sont masqués automatiquement.

Créer et modifier des images

• Créer : Générez une image à partir d’une requête textuelle.

• Transformer : Utilisez une image existante comme point de départ pour une nouvelle génération.

• Incrustation : Sélectionnez et régénérez une partie d’une image.

• Étendre : Générez du contenu au-delà de la zone de dessin d’origine.

• Mettre à l’échelle : Augmentez la résolution d’une image.

• Référence : Guidez une génération avec une ou plusieurs images de référence.

• Modifier : Décrivez les modifications que vous souhaitez apporter à une image.

Modifier nécessite un modèle compatible tel que Qwen-Image-Edit ou FLUX.1 Kontext.

LoRA et ControlNet

Chargez des LoRA compatibles pour ajouter un personnage, un sujet ou un style visuel à vos générations. Ajustez le poids du LoRA pour contrôler son influence sur le résultat.

Les modèles pris en charge peuvent également utiliser ControlNet pour guider la structure d’une image. Ajustez sa puissance pour contrôler à quel point le résultat suit l’image de guidage.

Galerie

Les images générées sont enregistrées dans la galerie locale. Ouvrez un résultat pour voir sa requête et ses paramètres, sélectionnez Recette pour restaurer sa configuration de génération ou télécharger l’image.

Modèles et flux de travail pris en charge

Ce que vous voulez faire	Modèles pour commencer
Générer ou transformer des images	Z-Image, Qwen-Image, FLUX.1, SDXL
Modifier à l’aide d’instructions	Qwen-Image-Edit, FLUX.1 Kontext
Utiliser des images de référence	FLUX.2 klein

D’autres modèles sont disponibles dans le sélecteur de modèles. Les formats et les flux de travail varient selon le modèle, et les flux de travail non pris en charge sont masqués automatiquement.

Paramètres de génération

Les paramètres par défaut constituent un bon point de départ. Cependant, il est possible d’ajuster les paramètres pour obtenir le meilleur résultat ; voici les principaux paramètres que vous pourriez vouloir modifier :

Paramètre	Ce qu’il modifie
Requête	Décrit l’image que vous souhaitez créer. Dans Modifier, cela devient l’instruction à suivre.
Rapport d’aspect et résolution	Définissez la forme et la taille de l’image. Les images plus grandes utilisent plus de mémoire et prennent plus de temps.
Étapes	Contrôle la durée pendant laquelle le modèle passe à générer. Davantage d’étapes n’améliorent pas toujours le résultat.
Guidage	Contrôle la force avec laquelle la requête guide le résultat. Certains modèles fonctionnent mieux à 0.
Graine	Aide à recréer un résultat. Laissez ce champ vide pour utiliser une graine aléatoire.

Paramètres de génération avancés

Ces contrôles modifient la façon dont le modèle s’exécute sur votre appareil. Ajustez-les pour réduire l’utilisation de mémoire, améliorer les performances ou résoudre les problèmes de génération.

Paramètre	Ce qu’il modifie
Vitesse	Contrôle la compilation et les optimisations de performances. Les modes compilés peuvent prendre plus de temps lors de la première génération.
Précision	Modifie le format numérique utilisé pour exécuter le modèle. Une précision plus faible peut réduire l’utilisation de mémoire. Les options disponibles dépendent du modèle et du matériel.
Attention	Sélectionne l’implémentation de l’attention utilisée pendant la génération.
Mémoire	Équilibre la vitesse de génération avec l’utilisation de la mémoire GPU. Essayez Faible VRAM si un modèle est proche de votre limite mémoire.
Cache d’étapes	Réutilise certains calculs entre les étapes de diffusion pour améliorer la vitesse de génération.
Déchargement CPU	Déplace des parties du modèle vers la mémoire système. Cela réduit l’utilisation de mémoire GPU, mais peut ralentir la génération.

⚠️ Dépannage

Les images n’apparaissent pas

Mettez à jour vers la dernière version, puis redémarrez l’application. Voir Mettre à jour Unsloth pour obtenir les instructions.

Un modèle ne se télécharge pas ou ne se charge pas

Certains modèles d’image sont volumineux et prennent du temps à télécharger. Vérifiez que vous disposez de suffisamment d’espace libre et d’une connexion Internet stable.

Certains modèles exigent également que vous acceptiez leur licence sur Hugging Face et que vous ajoutiez un jeton Hugging Face avant de les télécharger.

Le modèle manque de mémoire

Essayez une quantification GGUF plus petite ou une version 4 bits du modèle. Pour les modèles GGUF, commencez par la taille indiquée recommandée.

Vous pouvez également :

• Réduire la résolution de l’image.

• Conservez la taille du lot à 1.

• Fermez les autres applications utilisant le GPU.

• Choisissez un modèle plus petit.

Un À L’ÉTROIT modèle peut utiliser la mémoire système et s’exécuter plus lentement. Un modèle marqué OOM a peu de chances de tenir.

Un flux de travail est manquant

Les flux de travail disponibles dépendent du modèle chargé. Les flux de travail non pris en charge n’apparaîtront pas.

Par exemple, la modification basée sur des instructions nécessite un modèle tel que Qwen-Image-Edit ou FLUX.1 Kontext.

❓ FAQ

La génération d’images s’exécute-t-elle localement ?

Oui. Une fois qu’un modèle est téléchargé, la génération d’images s’exécute sur votre appareil.

Quelle est la différence entre Transformer et Modifier ?

Transformer redessine une image existante à l’aide d’une requête qui décrit le résultat complet.

Modifier suit des instructions telles que changer un arrière-plan ou ajouter un objet. Cela nécessite un modèle d’édition compatible.

Puis-je entraîner ma propre LoRA d’image ?

Oui. Affinez un modèle pris en charge sur vos propres images, puis chargez la LoRA terminée dans Créer.

Voir Ajuster finement un modèle d’image pour en savoir plus.