🦥Documentation Unsloth

Unsloth vous permet d’exécuter et d’entraîner des modèles d’IA sur votre propre matériel local via une interface open source.

Notre documentation vous guidera dans l’exécution et l’entraînement de votre propre LLM en local.

Commencer Notre GitHub

DiffusionGemma

Exécutez et entraînez les nouveaux modèles de texte par diffusion de Google.

Guide MTP

Exécutez Qwen3.6 et Gemma 4 ~2x plus vite !

Gemma 4 QAT

3x moins de mémoire et une précision quasi identique à l’original.

Gemma 4

Exécutez et entraînez les modèles, y compris Gemma 4 12B

Point de terminaison de l’API Unsloth

Exécutez l’inférence avec Unsloth via notre nouvelle API.

Présentation d’Unsloth Studio

Nouvelle interface ouverte sans code pour entraîner et exécuter des LLM.

🦥 Pourquoi Unsloth ?

• Nous collaborons directement avec les équipes derrière gpt-oss, Qwen3, Llama 4, Mistral, Gemma 1-3 et Phi-4, où nous avons corrigé des bugs critiques qui ont grandement amélioré la précision du modèle. Andrej Karpathy, par exemple, a salué notre travail.

• Unsloth simplifie l’entraînement local, l’inférence, les données et le déploiement

• Unsloth prend en charge l’inférence et l’entraînement pour plus de 500 modèles : vision, TTS, embedding, RL

⭐ Fonctionnalités

Unsloth vous permet d’exécuter et d’entraîner des modèles pour le texte, l’audio, embedding, vision et plus encore. Unsloth offre de nombreuses fonctionnalités clés pour l’inférence comme pour l’entraînement :

Inférence

• Recherchez + téléchargez + exécutez n’importe quel modèle comme les GGUF, les adaptateurs LoRA, les safetensors.

• Appels d’outils auto-réparateurs / recherche web et utilisation Unsloth comme API.

• Paramètre d’inférence automatique réglage et modification des modèles de chat.

• Exporter ou enregistrer votre modèle au format GGUF, safetensor 16 bits, etc.

• Comparer les sorties avec deux modèles différents côte à côte.

Entraînement

• Entraînez et RL plus de 500 modèles ~2x plus vite avec ~70 % de VRAM en moins (sans perte de précision)

• Prend en charge le fine-tuning complet, le pré-entraînement, l’entraînement en 4 bits, 16 bits et FP8.

• Créer automatiquement des jeux de données à partir de fichiers PDF, CSV, DOCX. Modifiez les données dans un flux de travail visuel par nœuds.

• Observabilité : surveillez l’entraînement en direct, suivez la perte, l’utilisation du GPU, personnalisez les graphiques

• La bibliothèque de renforcement learning la plus efficace, utilisant 80 % de VRAM en moins pour GRPO, FP8 etc.

• Multi-GPU fonctionne, mais une bien meilleure version arrive !

Démarrage rapide

Unsloth prend en charge MacOS, Linux, Windows, NVIDIA, Intel et les configurations CPU. Voir : Configuration requise pour Unsloth. Utilisez les mêmes commandes pour mettre à jour :

MacOS, Linux, WSL :

Windows PowerShell :

Docker

Utilisez notre image Docker: unsloth/unsloth qui fonctionne actuellement pour Windows, WSL et Linux. La prise en charge de MacOS arrive bientôt.

Qu’est-ce que le fine-tuning et le RL ? Pourquoi ?

Le fine-tuning d’un LLM personnalise son comportement, enrichit les connaissances du domaine et optimise les performances pour des tâches spécifiques. En affinant un modèle pré-entraîné (par exemple Llama-3.1-8B) sur un jeu de données, vous pouvez :

• Mettre à jour les connaissances: Introduire de nouvelles informations spécifiques au domaine.

• Personnaliser le comportement: Ajuster le ton, la personnalité ou le style de réponse du modèle.

• Optimiser pour des tâches: Améliorer la précision et la pertinence pour des cas d’usage spécifiques.

L’apprentissage par renforcement (RL) est le cas où un « agent » apprend à prendre des décisions en interagissant avec un environnement et en recevant des retours sous forme de récompenses ou de punitions.

• Action : Ce que le modèle génère (par ex. une phrase).

• Récompense : Un signal indiquant à quel point l’action du modèle était bonne ou mauvaise (par ex. la réponse suivait-elle les instructions ? était-elle utile ?).

• Environnement : Le scénario ou la tâche sur laquelle le modèle travaille (par ex. répondre à la question d’un utilisateur).

Exemples de cas d’usage du fine-tuning ou du RL:

• Permet aux LLM de prédire si un titre a un impact positif ou négatif sur une entreprise.

• Peut utiliser les interactions historiques avec les clients pour des réponses plus précises et personnalisées.

• Affiner un LLM sur des textes juridiques pour l’analyse de contrats, la recherche en jurisprudence et la conformité.

Vous pouvez considérer un modèle affiné comme un agent spécialisé conçu pour accomplir des tâches spécifiques plus efficacement et plus rapidement. Le fine-tuning peut reproduire toutes les capacités du RAG, mais pas l’inverse.