🦥Documentation Unsloth

Unsloth est un framework open source pour exécuter et entraîner des modèles.

Unsloth vous permet d’exécuter et d’entraîner des modèles d’IA sur votre propre matériel local.

Notre documentation vous guidera pour exécuter et entraîner votre propre modèle en local.

Commencer Notre GitHub

🦥 Pourquoi Unsloth ?

⭐ Fonctionnalités

Unsloth vous permet d’exécuter et d’entraîner des modèles pour le texte, l’audioarrow-up-right, embeddingarrow-up-right, visionarrow-up-right et plus encore. Unsloth offre de nombreuses fonctionnalités clés pour l’inférence et l’entraînement :

Inférence

Entraînement

  • Entraîner et RL plus de 500 modèles ~2x plus vite avec ~70 % de VRAM en moins (sans perte de précision)

  • Prend en charge le fine-tuning complet, le pré-entraînement, l’entraînement en 4 bits, 16 bits et FP8.

  • Création automatique de jeux de données à partir de fichiers PDF, CSV, DOCX. Modifiez les données dans un workflow visuel à base de nœuds.

  • Observabilité : surveillez l’entraînement en direct, suivez la loss, l’utilisation du GPU, personnalisez les graphiques

  • Le plus efficace apprentissage par renforcement bibliothèque, utilisant 80 % de VRAM en moins pour GRPO, FP8 etc.

  • Multi-GPU fonctionne, mais une bien meilleure version arrive bientôt !

Démarrage rapide

Unsloth prend en charge MacOS, Linux, Windows, NVIDIA, Intel et les configurations CPU. Voir : Exigences d'Unsloth. Utilisez la même commande pour mettre à jour :

MacOS, Linux, WSL :

Windows PowerShell :

Docker

Utilisez notre image Docker: unsloth/unslotharrow-up-right officielle, qui fonctionne actuellement pour Windows, WSL et Linux. La prise en charge de MacOS arrive bientôt.

Lancer Unsloth

Nouveaux modèles

Qu’est-ce que le fine-tuning et le RL ? Pourquoi ?

Le fine-tuning d’un LLM personnalise son comportement, enrichit ses connaissances métier et optimise ses performances pour des tâches spécifiques. En affinant un modèle pré-entraîné (par ex. Llama-3.1-8B) sur un jeu de données, vous pouvez :

  • Mettre à jour les connaissances: introduire de nouvelles informations spécifiques à un domaine.

  • Personnaliser le comportement: ajuster le ton, la personnalité ou le style de réponse du modèle.

  • Optimiser pour des tâches: améliorer la précision et la pertinence pour des cas d’usage spécifiques.

L’apprentissage par renforcement (RL) est un processus où un « agent » apprend à prendre des décisions en interagissant avec un environnement et en recevant des retours sous la forme de récompenses ou de pénalités.

  • Action : Ce que le modèle génère (par ex. une phrase).

  • Récompense : Un signal indiquant à quel point l’action du modèle était bonne ou mauvaise (par ex. la réponse a-t-elle respecté les instructions ? était-elle utile ?).

  • Environnement : Le scénario ou la tâche sur laquelle le modèle travaille (par ex. répondre à la question d’un utilisateur).

Exemples d’utilisation du fine-tuning ou du RL:

  • Permet aux LLMs de prédire si un titre a un impact positif ou négatif sur une entreprise.

  • Peut utiliser les interactions historiques avec les clients pour des réponses plus précises et personnalisées.

  • Affiner un LLM sur des textes juridiques pour l’analyse de contrats, la recherche en jurisprudence et la conformité.

Vous pouvez considérer un modèle affiné comme un agent spécialisé conçu pour réaliser des tâches spécifiques plus efficacement et plus rapidement. Le fine-tuning peut reproduire toutes les capacités de la RAG, mais pas l’inverse.

Mis à jour

Ce contenu vous a-t-il été utile ?