For the complete documentation index, see llms.txt. This page is also available as Markdown.

🛠️Prérequis Unsloth

Voici les prérequis d'Unsloth, y compris les exigences système et de VRAM GPU.

Unsloth peut être utilisé de trois façons : notre Unsloth Desktop application, notre Unsloth Studio interface web, ou via Unsloth Core, la version originale basée sur le code. Chacune a des exigences différentes.

Exigences d'Unsloth

  • Mac : L'entraînement, l'inférence MLX et GGUF sont TOUS pris en charge.

  • CPU : Unsloth fonctionne toujours sans GPU, pour Chat + recettes de données.

  • Entraînement : Fonctionne sur NVIDIA, AMD, Intel GPU et Mac appareils

Windows

Unsloth Studio fonctionne directement sur Windows sans WSL. Pour entraîner des modèles, assurez-vous que votre système satisfait à ces exigences :

Exigences

  • Windows 10 ou Windows 11 (64 bits)

  • GPU NVIDIA avec pilotes installés

  • App Installer (inclut winget): ici

  • Git: winget install --id Git.Git -e --source winget

  • Python: version 3.11 jusqu'à, mais sans inclure, la 3.14

  • Travaillez dans un environnement Python tel que uv, venv, ou conda/mamba

macOS

Unsloth Studio fonctionne sur les appareils macOS avec une prise en charge complète de l'entraînement, de l'inférence MLX et GGUF.

  • macOS 12 Monterey ou plus récent (Intel ou Apple Silicon)

  • Installez Homebrew : ici

  • Git : brew install git

  • cmake : brew install cmake

  • openssl : brew install openssl

  • Python : version 3.11 jusqu'à, mais sans inclure, la 3.14

  • Travaillez dans un environnement Python tel que uv, venv, ou conda/mamba

Linux et WSL

  • Ubuntu 20.04+ ou distribution similaire (64 bits)

  • GPU NVIDIA avec pilotes installés

  • kit d'outils CUDA (12.4+ recommandé, 12.8+ pour Blackwell)

  • Git : sudo apt install git

  • Python : version 3.11 jusqu'à, mais sans inclure, la 3.14

  • Travaillez dans un environnement Python tel que uv, venv, ou conda/mamba

CPU uniquement

Unsloth Studio prend en charge les appareils CPU pour Chat pour les modèles GGUF et Recettes de données (Export (très bientôt)

  • Identiques à ceux mentionnés ci-dessus pour Linux (sauf pour les pilotes GPU NVIDIA) et macOS.

Entraînement

L'entraînement d'Unsloth Studio fonctionne actuellement sur NVIDIA, AMD, MLX, les appareils Intel. Vous pouvez toujours utiliser le Unsloth Core original pour entraîner sur des appareils AMD et Intel. Python 3.11–3.13 est requis.

Exigence
Linux / WSL
Windows

Git

Généralement préinstallé

Installé par le script d'installation (winget)

CMake

Préinstallé ou sudo apt install cmake

Installé par le script d'installation (winget)

Compilateur C++

build-essential

Visual Studio Build Tools 2022

Kit d'outils CUDA

Facultatif; nvcc détecté automatiquement

Installé par le script d'installation (adapté au pilote)

Exigences d'Unsloth Core

  • Système d'exploitation: fonctionne sur Linux et Windows

  • prend en charge les GPU NVIDIA depuis 2018+, y compris Blackwell RTX 50 et DGX Spark

  • Capacité CUDA minimale 7.0 (V100, T4, Titan V, RTX 20 et 50, A100, H100, L40, etc.) Vérifiez votre GPU ! La GTX 1070, 1080 fonctionne, mais est lente.

  • L'image officielle Docker d'Unsloth unsloth/unsloth est disponible sur Docker Hub

  • Unsloth fonctionne sur AMD et Intel les GPU (suivez nos guides spécifiques). Apple/Silicon/MLX est en cours de développement

  • Votre appareil devrait disposer de xformers, torch, BitsandBytes et triton prise en charge.

  • Si vous avez différentes versions de torch, transformers, etc., pip install unsloth installera automatiquement toutes les dernières versions de ces bibliothèques, donc vous n'avez pas à vous soucier de la compatibilité des versions.

Python 3.13 est pris en charge !

Exigences VRAM pour le fine-tuning :

De combien de mémoire GPU ai-je besoin pour le fine-tuning d'un LLM avec Unsloth ?

Un problème courant lorsque vous avez une erreur OOM ou manquez de mémoire est que vous avez défini une taille de lot trop élevée. Réglez-la sur 1, 2 ou 3 pour utiliser moins de VRAM.

Pour les benchmarks de longueur de contexte, voir ici.

Consultez ce tableau pour les exigences en VRAM triées par paramètres du modèle et méthode de fine-tuning. QLoRA utilise du 4 bits, LoRA utilise du 16 bits. Gardez à l'esprit que parfois davantage de VRAM est nécessaire selon le modèle, donc ces nombres sont le strict minimum :

Paramètres du modèle
VRAM QLoRA (4 bits)
VRAM LoRA (16 bits)

3B

3,5 Go

8 Go

7B

5 Go

19 Go

8B

6 Go

22 Go

9B

6,5 Go

24 Go

11B

7,5 Go

29 Go

14B

8,5 Go

33 Go

27B

22 Go

64 Go

32B

26 Go

76 Go

40B

30 Go

96 Go

70B

41 Go

164 Go

81B

48 Go

192 Go

90B

53 Go

212 Go

405B

237 Go

950 Go

Mis à jour

Ce contenu vous a-t-il été utile ?