🛠️Prérequis Unsloth

Voici les prérequis d'Unsloth, y compris les exigences système et de VRAM GPU.

Unsloth peut être utilisé de trois façons : notre Unsloth Desktop application, notre Unsloth Studio interface web, ou via Unsloth Core, la version originale basée sur le code. Chacune a des exigences différentes.

Exigences d'Unsloth

• Mac : L'entraînement, l'inférence MLX et GGUF sont TOUS pris en charge.

• CPU : Unsloth fonctionne toujours sans GPU, pour Chat + recettes de données.

• Entraînement : Fonctionne sur NVIDIA, AMD, Intel GPU et Mac appareils

Windows

Unsloth Studio fonctionne directement sur Windows sans WSL. Pour entraîner des modèles, assurez-vous que votre système satisfait à ces exigences :

Exigences

• Windows 10 ou Windows 11 (64 bits)

• GPU NVIDIA avec pilotes installés

• App Installer (inclut winget): ici

• Git: winget install --id Git.Git -e --source winget

• Python: version 3.11 jusqu'à, mais sans inclure, la 3.14

• Travaillez dans un environnement Python tel que uv, venv, ou conda/mamba

macOS

Unsloth Studio fonctionne sur les appareils macOS avec une prise en charge complète de l'entraînement, de l'inférence MLX et GGUF.

• macOS 12 Monterey ou plus récent (Intel ou Apple Silicon)

• Installez Homebrew : ici

• Git : brew install git

• cmake : brew install cmake

• openssl : brew install openssl

• Python : version 3.11 jusqu'à, mais sans inclure, la 3.14

• Travaillez dans un environnement Python tel que uv, venv, ou conda/mamba

Linux et WSL

• Ubuntu 20.04+ ou distribution similaire (64 bits)

• GPU NVIDIA avec pilotes installés

• kit d'outils CUDA (12.4+ recommandé, 12.8+ pour Blackwell)

• Git : sudo apt install git

• Python : version 3.11 jusqu'à, mais sans inclure, la 3.14

• Travaillez dans un environnement Python tel que uv, venv, ou conda/mamba

CPU uniquement

Unsloth Studio prend en charge les appareils CPU pour Chat pour les modèles GGUF et Recettes de données (Export (très bientôt)

• Identiques à ceux mentionnés ci-dessus pour Linux (sauf pour les pilotes GPU NVIDIA) et macOS.

Entraînement

L'entraînement d'Unsloth Studio fonctionne actuellement sur NVIDIA, AMD, MLX, les appareils Intel. Vous pouvez toujours utiliser le Unsloth Core original pour entraîner sur des appareils AMD et Intel. Python 3.11–3.13 est requis.

Exigence	Linux / WSL	Windows
Git	Généralement préinstallé	Installé par le script d'installation (winget)
CMake	Préinstallé ou sudo apt install cmake	Installé par le script d'installation (winget)
Compilateur C++	build-essential	Visual Studio Build Tools 2022
Kit d'outils CUDA	Facultatif; nvcc détecté automatiquement	Installé par le script d'installation (adapté au pilote)

Exigences d'Unsloth Core

• Système d'exploitation: fonctionne sur Linux et Windows

• prend en charge les GPU NVIDIA depuis 2018+, y compris Blackwell RTX 50 et DGX Spark

• Capacité CUDA minimale 7.0 (V100, T4, Titan V, RTX 20 et 50, A100, H100, L40, etc.) Vérifiez votre GPU ! La GTX 1070, 1080 fonctionne, mais est lente.

• L'image officielle Docker d'Unsloth unsloth/unsloth est disponible sur Docker Hub

  • Docker

• Unsloth fonctionne sur AMD et Intel les GPU (suivez nos guides spécifiques). Apple/Silicon/MLX est en cours de développement

• Votre appareil devrait disposer de xformers, torch, BitsandBytes et triton prise en charge.

• Si vous avez différentes versions de torch, transformers, etc., pip install unsloth installera automatiquement toutes les dernières versions de ces bibliothèques, donc vous n'avez pas à vous soucier de la compatibilité des versions.

Python 3.13 est pris en charge !

Exigences VRAM pour le fine-tuning :

De combien de mémoire GPU ai-je besoin pour le fine-tuning d'un LLM avec Unsloth ?

Un problème courant lorsque vous avez une erreur OOM ou manquez de mémoire est que vous avez défini une taille de lot trop élevée. Réglez-la sur 1, 2 ou 3 pour utiliser moins de VRAM.

Pour les benchmarks de longueur de contexte, voir ici.

Consultez ce tableau pour les exigences en VRAM triées par paramètres du modèle et méthode de fine-tuning. QLoRA utilise du 4 bits, LoRA utilise du 16 bits. Gardez à l'esprit que parfois davantage de VRAM est nécessaire selon le modèle, donc ces nombres sont le strict minimum :

Paramètres du modèle	VRAM QLoRA (4 bits)	VRAM LoRA (16 bits)
3B	3,5 Go	8 Go
7B	5 Go	19 Go
8B	6 Go	22 Go
9B	6,5 Go	24 Go
11B	7,5 Go	29 Go
14B	8,5 Go	33 Go
27B	22 Go	64 Go
32B	26 Go	76 Go
40B	30 Go	96 Go
70B	41 Go	164 Go
81B	48 Go	192 Go
90B	53 Go	212 Go
405B	237 Go	950 Go