🦥Documentation Unsloth
Unsloth est un framework open source pour exécuter et entraîner des modèles.
Unsloth vous permet d’exécuter et d’entraîner des modèles d’IA sur votre propre matériel local.
Notre documentation vous guidera pour exécuter et entraîner votre propre modèle en local.
🦥 Pourquoi Unsloth ?
Unsloth simplifie l’entraînement local, l’inférence, les données et le déploiement
⭐ Fonctionnalités
Unsloth vous permet d’exécuter et d’entraîner des modèles pour le texte, l’audio, embedding, vision et plus encore. Unsloth offre de nombreuses fonctionnalités clés pour l’inférence et l’entraînement :
Inférence
Rechercher + télécharger + exécuter n’importe quel modèle comme des GGUF, des adaptateurs LoRA, des safetensors.
Appel d’outils auto-réparateur / recherche web et appel d’API compatibles OpenAI.
Paramètre d’inférence automatique ajustement et modification des modèles de chat.
Exporter ou enregistrer votre modèle en GGUF, safetensor 16 bits, etc.
Comparer les sorties avec deux modèles différents côte à côte.
Entraînement
Entraîner et RL plus de 500 modèles ~2x plus vite avec ~70 % de VRAM en moins (sans perte de précision)
Prend en charge le fine-tuning complet, le pré-entraînement, l’entraînement en 4 bits, 16 bits et FP8.
Création automatique de jeux de données à partir de fichiers PDF, CSV, DOCX. Modifiez les données dans un workflow visuel à base de nœuds.
Observabilité : surveillez l’entraînement en direct, suivez la loss, l’utilisation du GPU, personnalisez les graphiques
Le plus efficace apprentissage par renforcement bibliothèque, utilisant 80 % de VRAM en moins pour GRPO, FP8 etc.
Multi-GPU fonctionne, mais une bien meilleure version arrive bientôt !
Démarrage rapide
Unsloth prend en charge MacOS, Linux, Windows, NVIDIA, Intel et les configurations CPU. Voir : Exigences d'Unsloth. Utilisez la même commande pour mettre à jour :
MacOS, Linux, WSL :
Windows PowerShell :
Docker
Utilisez notre image Docker: unsloth/unsloth officielle, qui fonctionne actuellement pour Windows, WSL et Linux. La prise en charge de MacOS arrive bientôt.
Lancer Unsloth
Nouveaux modèles
Qu’est-ce que le fine-tuning et le RL ? Pourquoi ?
Le fine-tuning d’un LLM personnalise son comportement, enrichit ses connaissances métier et optimise ses performances pour des tâches spécifiques. En affinant un modèle pré-entraîné (par ex. Llama-3.1-8B) sur un jeu de données, vous pouvez :
Mettre à jour les connaissances: introduire de nouvelles informations spécifiques à un domaine.
Personnaliser le comportement: ajuster le ton, la personnalité ou le style de réponse du modèle.
Optimiser pour des tâches: améliorer la précision et la pertinence pour des cas d’usage spécifiques.
L’apprentissage par renforcement (RL) est un processus où un « agent » apprend à prendre des décisions en interagissant avec un environnement et en recevant des retours sous la forme de récompenses ou de pénalités.
Action : Ce que le modèle génère (par ex. une phrase).
Récompense : Un signal indiquant à quel point l’action du modèle était bonne ou mauvaise (par ex. la réponse a-t-elle respecté les instructions ? était-elle utile ?).
Environnement : Le scénario ou la tâche sur laquelle le modèle travaille (par ex. répondre à la question d’un utilisateur).
Exemples d’utilisation du fine-tuning ou du RL:
Permet aux LLMs de prédire si un titre a un impact positif ou négatif sur une entreprise.
Peut utiliser les interactions historiques avec les clients pour des réponses plus précises et personnalisées.
Affiner un LLM sur des textes juridiques pour l’analyse de contrats, la recherche en jurisprudence et la conformité.
Vous pouvez considérer un modèle affiné comme un agent spécialisé conçu pour réaliser des tâches spécifiques plus efficacement et plus rapidement. Le fine-tuning peut reproduire toutes les capacités de la RAG, mais pas l’inverse.

Mis à jour
Ce contenu vous a-t-il été utile ?












