🛠️Exigences d'Unsloth

Voici les exigences d'Unsloth, y compris les exigences système et la VRAM GPU.

Configuration requise

• Système d'exploitation: Fonctionne sur Linux et Windows

• Prend en charge les GPU NVIDIA depuis 2018+ y compris Blackwell RTX 50 et DGX Spark

• Capacité CUDA minimale 7.0 (V100, T4, Titan V, RTX 20 & 50, A100, H100, L40 etc) Vérifiez votre GPU ! GTX 1070, 1080 fonctionnent, mais c'est lent.

• L' image Docker Unsloth officielle unsloth/unsloth est disponible sur Docker Hub

  • Docker

• Unsloth fonctionne sur AMD et Intel GPU (suivez nos guides spécifiques). Apple/Silicon/MLX est en cours de développement

• Votre appareil devrait avoir xformers, torch, BitsandBytes et triton prise en charge.

• Si vous avez des versions différentes de torch, transformers, etc., pip install unsloth installera automatiquement toutes les dernières versions de ces bibliothèques afin que vous n'ayez pas à vous soucier de la compatibilité des versions.

Python 3.13 est maintenant pris en charge !

Exigences en VRAM pour l'affinage :

De quelle mémoire GPU ai-je besoin pour l'affinage des LLM en utilisant Unsloth ?

Un problème courant quand vous avez une OOM ou manque de mémoire est que votre taille de lot est trop élevée. Réduisez-la à 1, 2 ou 3 pour utiliser moins de VRAM.

Pour les benchmarks de longueur de contexte, voir ici.

Consultez ce tableau pour les exigences en VRAM triées par paramètres du modèle et méthode d'affinage. QLoRA utilise 4 bits, LoRA utilise 16 bits. Gardez à l'esprit que parfois plus de VRAM est nécessaire selon le modèle, donc ces chiffres sont le strict minimum :

Paramètres du modèle	VRAM QLoRA (4 bits)	VRAM LoRA (16 bits)
3B	3,5 Go	8 Go
7B	5 Go	19 Go
8B	6 Go	22 Go
9B	6,5 Go	24 Go
11B	7,5 Go	29 Go
14B	8,5 Go	33 Go
27B	22 Go	64 Go
32B	26 Go	76 Go
40B	30 Go	96 Go
70B	41 Go	164 Go
81B	48 Go	192 Go
90B	53 Go	212 Go
405B	237 Go	950 Go