🛠️Exigences d'Unsloth

Voici les exigences d'Unsloth, y compris les exigences système et de VRAM GPU.

Unsloth peut être utilisé de deux façons : via Unsloth Studio, l'interface web, ou via Unsloth Core, la version originale basée sur le code. Chacune a des exigences différentes.

Exigences d’Unsloth Studio

• Mac : Comme le CPU - Chat + Recettes de données fonctionne pour l’instant. MLX formation très bientôt.

• CPU : Unsloth fonctionne toujours sans GPU, pour Chat + Recettes de données.

• Entraînement : Fonctionne sur NVIDIA : RTX 30, 40, 50, Blackwell, DGX Spark/Station, etc. + Intel GPU

• Bientôt disponible : Prise en charge de Apple MLX et AMD.

Windowss

Unsloth Studio fonctionne directement sur Windows sans WSL. Pour entraîner des modèles, assurez-vous que votre système satisfait à ces exigences :

Exigences

• Windows 10 ou Windows 11 (64 bits)

• GPU NVIDIA avec pilotes installés

• Installateur d’application (inclut winget): ici

• Git: winget install --id Git.Git -e --source winget

• Python: version 3.11 jusqu’à, mais sans inclure, 3.14

• Travaillez dans un environnement Python tel que uv, venvou conda/mamba

MacOS

Unsloth Studio fonctionne sur les appareils Mac pour Chat pour les modèles GGUF et Recettes de données (Exportation à venir très bientôt). Entraînement MLX à venir bientôt !

• macOS 12 Monterey ou plus récent (Intel ou Apple Silicon)

• Installez Homebrew : ici

• Git : brew install git

• cmake : brew install cmake

• openssl : brew install openssl

• Python : version 3.11 jusqu’à, mais sans inclure, 3.14

• Travaillez dans un environnement Python tel que uv, venvou conda/mamba

Linux et WSL

• Ubuntu 20.04+ ou distribution similaire (64 bits)

• GPU NVIDIA avec pilotes installés

• CUDA toolkit (12.4+ recommandé, 12.8+ pour Blackwell)

• Git : sudo apt install git

• Python : version 3.11 jusqu’à, mais sans inclure, 3.14

• Travaillez dans un environnement Python tel que uv, venvou conda/mamba

CPU uniquement

Unsloth Studio prend en charge les appareils CPU pour Chat pour les modèles GGUF et Recettes de données (Exportation à venir très bientôt)

• Identique à ce qui est mentionné ci-dessus pour Linux (sauf pour les pilotes GPU NVIDIA) et MacOS.

Entraînement

L’entraînement d’Unsloth Studio fonctionne actuellement sur les GPU NVIDIA, avec la prise en charge d’AMD, MLX et Intel qui arrive très bientôt. Vous pouvez toujours utiliser le code source original d’Unsloth pour entraîner sur des appareils AMD et Intel. Python 3.11–3.13 est requis.

Exigence	Linux / WSL	Windows
Git	Généralement préinstallé	Installé par le script d’installation (winget)
CMake	Préinstallé ou sudo apt install cmake	Installé par le script d’installation (winget)
Compilateur C++	build-essential	Visual Studio Build Tools 2022
CUDA Toolkit	Facultatif ; nvcc détecté automatiquement	Installé par le script d’installation (correspondant au pilote)

Exigences du code source d’Unsloth

• Système d’exploitation: Fonctionne sous Linux et Windows

• Prend en charge les GPU NVIDIA depuis 2018+, y compris Blackwell RTX 50 et DGX Spark

• Capacité CUDA minimale 7.0 (V100, T4, Titan V, RTX 20 et 50, A100, H100, L40, etc.) Vérifiez votre GPU ! GTX 1070, 1080 fonctionne, mais c’est lent.

• L’image Docker officielle d’Unsloth Docker unsloth/unsloth est disponible sur Docker Hub

  • Docker

• Unsloth fonctionne sur AMD et Intel GPU (suivez nos guides spécifiques). Apple/Silicon/MLX est en cours de développement

• Votre appareil doit avoir xformers, torch, BitsandBytes et triton prise en charge.

• Si vous avez des versions différentes de torch, transformers, etc., pip install unsloth installera automatiquement toutes les dernières versions de ces bibliothèques afin que vous n’ayez pas à vous soucier de la compatibilité des versions.

Python 3.13 est pris en charge !

Exigences de VRAM pour le fine-tuning :

De quelle quantité de mémoire GPU ai-je besoin pour le fine-tuning de LLM avec Unsloth ?

Un problème courant lorsque vous obtenez une OOM ou manquez de mémoire est que vous avez défini une taille de lot trop élevée. Réglez-la sur 1, 2 ou 3 pour utiliser moins de VRAM.

Pour les benchmarks de longueur de contexte, voir ici.

Consultez ce tableau pour les exigences en VRAM, classées par paramètres du modèle et méthode de fine-tuning. QLoRA utilise du 4 bits, LoRA utilise du 16 bits. Gardez à l’esprit que parfois plus de VRAM est nécessaire selon le modèle, donc ces nombres sont le minimum absolu :

Paramètres du modèle	VRAM QLoRA (4 bits)	VRAM LoRA (16 bits)
3B	3,5 Go	8 Go
7B	5 Go	19 Go
8B	6 Go	22 Go
9B	6,5 Go	24 Go
11B	7,5 Go	29 Go
14B	8,5 Go	33 Go
27B	22 Go	64 Go
32B	26 Go	76 Go
40B	30 Go	96 Go
70B	41 Go	164 Go
81B	48 Go	192 Go
90B	53 Go	212 Go
405B	237 Go	950 Go