Ajustement des LLM avec Blackwell, série RTX 50 & Unsloth

Apprenez comment affiner des LLM sur les GPU Blackwell RTX 50 series et B200 de NVIDIA avec notre guide pas à pas.

Unsloth prend désormais en charge les GPU basés sur l'architecture Blackwell de NVIDIA, y compris les GPU de la série RTX 50 (5060–5090), le RTX PRO 6000, et des GPU tels que B200, B40, GB100, GB102 et bien d'autres ! Vous pouvez lire le article de blog NVIDIA ici.

Unsloth est désormais compatible avec tous les GPU NVIDIA depuis 2018+, y compris le DGX Spark.

Notre nouveau image Docker prend en charge Blackwell. Exécutez l'image Docker et commencez l'entraînement ! Guide

Installation via pip

Installez simplement Unsloth :

pip install unsloth

Si vous rencontrez des problèmes, une autre option est de créer un environnement isolé séparé :

python -m venv unsloth
source unsloth/bin/activate
pip install unsloth

Notez que cela peut être pip3 ou pip3.13 et aussi python3 ou python3.13

Vous pourriez rencontrer des problèmes avec Xformers, auquel cas vous devriez construire depuis les sources :

# Désinstaller d'abord xformers installé par des bibliothèques précédentes
pip uninstall xformers -y

# Cloner et construire
pip install ninja
export TORCH_CUDA_ARCH_LIST="12.0"
git clone --depth=1 https://github.com/facebookresearch/xformers --recursive
cd xformers && python setup.py install && cd ..

Docker

unsloth/unsloth est la seule image Docker d'Unsloth. Pour les GPU Blackwell et de la série 50, utilisez cette même image - aucune image distincte n'est nécessaire.

Pour les instructions d'installation, veuillez suivre notre guide Docker Unsloth.

uv

uv pip install unsloth

uv (Avancé)

L'ordre d'installation est important, car nous souhaitons écraser les dépendances incluses par défaut avec des versions spécifiques (à savoir, xformers et triton).

1. Je préfère utiliser uv plutôt que pip car c'est plus rapide et mieux pour résoudre les dépendances, en particulier pour les bibliothèques qui dépendent de torch mais pour lesquelles une version spécifique CUDA est requise dans ce scénario.

   Installez uv

   curl -LsSf https://astral.sh/uv/install.sh | sh && source $HOME/.local/bin/env

   Créez un répertoire de projet et un venv :

   mkdir 'unsloth-blackwell' && cd 'unsloth-blackwell'
   uv venv .venv --python=3.12 --seed
   source .venv/bin/activate

2. Installez vllm

   uv pip install -U vllm --torch-backend=cu128

   Notez que nous devons spécifier cu128, sinon vllm installera torch==2.7.0 mais avec cu126.

3. Installez unsloth dépendances

   uv pip install unsloth unsloth_zoo bitsandbytes

   Si vous constatez des problèmes étranges de résolution dus à Xformers, vous pouvez aussi installer Unsloth depuis les sources sans Xformers :

   uv pip install -qqq \
   "unsloth_zoo[base] @ git+https://github.com/unslothai/unsloth-zoo" \
   "unsloth[base] @ git+https://github.com/unslothai/unsloth"

4. Télécharger et construire xformers (Optionnel)

   Xformers est optionnel, mais il est définitivement plus rapide et utilise moins de mémoire. Nous utiliserons le SDPA natif de PyTorch si vous ne voulez pas Xformers. La compilation de Xformers depuis les sources peut être lente, soyez donc prudent !

   # Désinstaller d'abord xformers installé par des bibliothèques précédentes
   pip uninstall xformers -y
   
   # Cloner et construire
   pip install ninja
   export TORCH_CUDA_ARCH_LIST="12.0"
   git clone --depth=1 https://github.com/facebookresearch/xformers --recursive
   cd xformers && python setup.py install && cd ..

   Notez que nous devons explicitement définir TORCH_CUDA_ARCH_LIST=12.0.

5. transformers Installez n'importe quelle version de transformers, mais il est préférable d'obtenir la dernière.

   uv pip install -U transformers

Conda ou mamba (Avancé)

1. Installez conda/mamba

   curl -L -O "https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-$(uname)-$(uname -m).sh"

   Exécutez le script d'installation

   bash Miniforge3-$(uname)-$(uname -m).sh

   Créez un environnement conda ou mamba

   conda create --name unsloth-blackwell python==3.12 -y

   Activez l'environnement nouvellement créé

   conda activate unsloth-blackwell

2. Installez vllm

   Assurez-vous d'être dans l'environnement conda/mamba activé. Vous devriez voir le nom de votre environnement en préfixe de votre shell terminal comme ceci (unsloth-blackwell)user@machine:

   pip install -U vllm --extra-index-url https://download.pytorch.org/whl/cu128

   Notez que nous devons spécifier cu128, sinon vllm installera torch==2.7.0 mais avec cu126.

3. Installez unsloth dépendances

   Assurez-vous d'être dans l'environnement conda/mamba activé. Vous devriez voir le nom de votre environnement en préfixe de votre shell terminal comme ceci (unsloth-blackwell)user@machine:

   pip install unsloth unsloth_zoo bitsandbytes

4. Télécharger et construire xformers (Optionnel)

   Xformers est optionnel, mais il est définitivement plus rapide et utilise moins de mémoire. Nous utiliserons le SDPA natif de PyTorch si vous ne voulez pas Xformers. La compilation de Xformers depuis les sources peut être lente, soyez donc prudent !

   Vous devriez voir le nom de votre environnement en préfixe de votre shell terminal comme ceci (unsloth-blackwell)user@machine:

   # Désinstaller d'abord xformers installé par des bibliothèques précédentes
   pip uninstall xformers -y
   
   # Cloner et construire
   pip install ninja
   export TORCH_CUDA_ARCH_LIST="12.0"
   git clone --depth=1 https://github.com/facebookresearch/xformers --recursive
   cd xformers && python setup.py install && cd ..

   Notez que nous devons explicitement définir TORCH_CUDA_ARCH_LIST=12.0.

5. Mettre à jour triton

   Assurez-vous d'être dans l'environnement conda/mamba activé. Vous devriez voir le nom de votre environnement en préfixe de votre shell terminal comme ceci (unsloth-blackwell)user@machine:

   pip install -U triton>=3.3.1

   triton>=3.3.1 est requis pour Blackwell la prise en charge.

6. Transformers Installez n'importe quelle version de transformers, mais il est préférable d'obtenir la dernière.

   uv pip install -U transformers

Si vous utilisez mamba comme gestionnaire de paquets, remplacez simplement conda par mamba pour toutes les commandes ci-dessus.

Remarques spécifiques à WSL

Si vous utilisez WSL (Windows Subsystem for Linux) et rencontrez des problèmes lors de la compilation de xformers (rappel : Xformers est optionnel, mais plus rapide pour l'entraînement), suivez ces étapes supplémentaires :

1. Augmenter la limite de mémoire de WSL Créez ou modifiez le fichier de configuration WSL :

   # Créez ou modifiez .wslconfig dans votre répertoire utilisateur Windows
   # (typiquement C:\Users\YourUsername\.wslconfig)
   
   # Ajoutez ces lignes au fichier
   [wsl2]
   memory=16GB  # 16 Go minimum recommandés pour la compilation de xformers
   processors=4  # Ajustez en fonction de vos cœurs CPU
   swap=2GB
   localhostForwarding=true

   Après avoir effectué ces modifications, redémarrez WSL :

   wsl --shutdown

2. Installer xformers Utilisez la commande suivante pour installer xformers avec une compilation optimisée pour WSL :

   # Définir l'architecture CUDA pour les GPU Blackwell
   export TORCH_CUDA_ARCH_LIST="12.0"
   
   # Installer xformers depuis les sources avec des options de compilation optimisées
   pip install -v --no-build-isolation -U git+https://github.com/facebookresearch/xformers.git@main#egg=xformers

   Le --no-build-isolation l'option aide à éviter d'éventuels problèmes de compilation dans les environnements WSL.