❓Quel modèle devrais-je utiliser pour l'ajustement ?

Llama, Qwen, Mistral, Phi ou ?

Lors de la préparation du fine-tuning, l'une des premières décisions à prendre est de sélectionner le bon modèle. Voici un guide étape par étape pour vous aider à choisir :

1

Choisissez un modèle qui correspond à votre cas d'utilisation

• Par ex. Pour l'entraînement basé sur des images, sélectionnez un modèle de vision tel que Llama 3.2 Vision. Pour des jeux de données de code, optez pour un modèle spécialisé comme Qwen Coder 2.5.

• Licences et exigences: Différents modèles peuvent avoir des conditions de licence spécifiques et exigences système. Assurez-vous de les examiner attentivement pour éviter des problèmes de compatibilité.

2

Évaluez votre stockage, votre capacité de calcul et votre jeu de données

• Utilisez notre guide VRAM pour déterminer les besoins en VRAM du modèle que vous envisagez.

• Votre jeu de données reflétera le type de modèle que vous utiliserez et la durée nécessaire pour l'entraîner

3

Sélectionnez un modèle et des paramètres

• Nous recommandons d'utiliser le modèle le plus récent pour de meilleures performances et capacités. Par exemple, en janvier 2025, le modèle 70B leader est Llama 3.3.

• Vous pouvez rester à jour en explorant notre catalogue de modèles pour trouver les options les plus récentes et pertinentes.

4

Choisir entre modèles Base et Instruct

Plus de détails ci-dessous :

Modèle Instruct ou Base ?

Lors de la préparation du fine-tuning, l'une des premières décisions à prendre est de savoir si vous utiliserez un modèle instruct ou un modèle base.

Modèles Instruct

Les modèles instruct sont pré-entraînés avec des instructions intégrées, ce qui les rend prêts à l'emploi sans aucun fine-tuning. Ces modèles, y compris les GGUF et d'autres couramment disponibles, sont optimisés pour une utilisation directe et répondent efficacement aux invites dès la sortie de la boîte. Les modèles instruct fonctionnent avec des modèles de conversation tels que ChatML ou ShareGPT.

Modèles Base

Les modèles base, en revanche, sont les versions pré-entraînées d'origine sans fine-tuning par instruction. Ils sont spécialement conçus pour la personnalisation via le fine-tuning, vous permettant de les adapter à vos besoins uniques. Les modèles base sont compatibles avec des formats de type instruction comme Alpaca ou Vicuna, mais ils ne prennent généralement pas en charge les modèles de conversation directement.

Dois-je choisir Instruct ou Base ?

La décision dépend souvent de la quantité, de la qualité et du type de vos données :

• 1 000+ lignes de données: Si vous disposez d'un grand jeu de données de plus de 1 000 lignes, il est généralement préférable d'affiner le modèle base.

• 300–1 000 lignes de données de haute qualité: Avec un jeu de données de taille moyenne et de haute qualité, affiner le modèle base ou instruct sont tous deux des options viables.

• Moins de 300 lignes: Pour les jeux de données plus petits, le modèle instruct est généralement le meilleur choix. Affiner le modèle instruct permet de l'aligner sur des besoins spécifiques tout en préservant ses capacités d'instruction intégrées. Cela garantit qu'il peut suivre des instructions générales sans saisie supplémentaire, à moins que vous n'ayez l'intention de modifier considérablement sa fonctionnalité.

• Pour des informations sur la taille que devrait avoir votre jeu de données, voir ici

Fine-tuning des modèles avec Unsloth

Vous pouvez changer le nom du modèle pour celui que vous souhaitez en le faisant correspondre au nom du modèle sur Hugging Face, par ex. 'unsloth/llama-3.1-8b-unsloth-bnb-4bit'.

Nous recommandons de commencer par les modèles Instruct, car ils permettent un fine-tuning direct en utilisant des modèles de conversation (ChatML, ShareGPT, etc.) et nécessitent moins de données par rapport aux modèles Base (qui utilisent Alpaca, Vicuna, etc.). En savoir plus sur les différences entre modèles instruct et base ici.

• Les noms de modèles se terminant par unsloth-bnb-4bit indiquent qu'ils sont quantifications Unsloth dynamiques 4 bits quants. Ces modèles consomment légèrement plus de VRAM que les modèles BitsAndBytes 4 bits standards mais offrent une précision nettement supérieure.

• Si un nom de modèle se termine simplement par bnb-4bit, sans "unsloth", il se réfère à une quantification BitsAndBytes 4 bits standard.

• Les modèles avec aucun suffixe sont dans leur format d'origine 16 bits ou 8 bits. Bien qu'ils soient les modèles originaux des créateurs officiels, nous incluons parfois des corrections importantes - telles que des corrections de template de chat ou de tokenizer. Il est donc recommandé d'utiliser nos versions lorsque disponibles.

L'expérimentation est essentielle

Nous recommandons d'expérimenter avec les deux modèles lorsque c'est possible. Affinez chacun d'eux et évaluez les résultats pour voir lequel correspond le mieux à vos objectifs.