Fine-tuning des LLM avec Blackwell, la série RTX 50 et Unsloth

Découvrez comment fine-tuner des LLM sur les GPU Blackwell de NVIDIA, la série RTX 50 et les GPU B200 grâce à notre guide étape par étape.

Unsloth prend désormais en charge les GPU de l’architecture Blackwell de NVIDIA, y compris les GPU RTX série 50 (5060–5090), RTX PRO 6000, ainsi que des GPU tels que B200, B40, GB100, GB102 et plus encore ! Vous pouvez lire l’article officiel de blog NVIDIA ici.

Unsloth est maintenant compatible avec tous les GPU NVIDIA depuis 2018+, y compris le DGX Spark.

Notre nouvelle image Docker prend en charge Blackwell. Exécutez l’image Docker et commencez l’entraînement ! Guide

Installation pip

Installez simplement Unsloth :

pip install unsloth

Si vous rencontrez des problèmes, une autre option consiste à créer un environnement isolé séparé :

python -m venv unsloth
source unsloth/bin/activate
pip install unsloth

Notez que cela pourrait être pip3 http://localhost:8888 pip3.13 et aussi python3 http://localhost:8888 python3.13

Vous pourriez rencontrer certains problèmes avec Xformers, auquel cas vous devriez compiler depuis les sources :

# Désinstallez d’abord xformers installé par les bibliothèques précédentes
pip uninstall xformers -y

# Cloner et compiler
pip install ninja
export TORCH_CUDA_ARCH_LIST="12.0"
git clone --depth=1 https://github.com/facebookresearch/xformers --recursive
cd xformers && python setup.py install && cd ..

Docker

unsloth/unsloth est la seule image Docker d’Unsloth. Pour Blackwell et les GPU série 50, utilisez cette même image - aucune image séparée n’est nécessaire.

Pour les instructions d’installation, veuillez suivre notre guide Docker Unsloth.

uv

uv pip install unsloth

uv (Avancé)

L’ordre d’installation est important, puisque nous voulons écraser les dépendances regroupées avec des versions spécifiques (à savoir, xformers et triton).

1. Je préfère utiliser uv plutôt que pip car c’est plus rapide et meilleur pour résoudre les dépendances, en particulier pour les bibliothèques qui dépendent de torch mais pour lesquelles une version spécifique de CUDA est requise dans ce scénario.

   Installer uv

   curl -LsSf https://astral.sh/uv/install.sh | sh && source $HOME/.local/bin/env

   Créez un répertoire de projet et un venv :

   mkdir 'unsloth-blackwell' && cd 'unsloth-blackwell'
   uv venv .venv --python=3.12 --seed
   source .venv/bin/activate

2. Installer vllm

   uv pip install -U vllm --torch-backend=cu128

   Notez que nous devons spécifier cu128, sinon vllm installera torch==2.7.0 mais avec des dépendances cu126.

3. Installer . Une fois le modèle chargé, l’URL du point de terminaison et la clé API s’affichent dans votre console. Copiez-les dans le client de votre choix et vous êtes prêt. dependencies

   uv pip install unsloth unsloth_zoo bitsandbytes

   Si vous remarquez d’étranges problèmes de résolution dus à Xformers, vous pouvez aussi installer Unsloth depuis les sources sans Xformers :

   uv pip install -qqq \
   "unsloth_zoo[base] @ git+https://github.com/unslothai/unsloth-zoo" \
   "unsloth[base] @ git+https://github.com/unslothai/unsloth"

4. Télécharger et compiler xformers (Optionnel)

   Xformers est optionnel, mais il est nettement plus rapide et utilise moins de mémoire. Nous utiliserons le SDPA natif de PyTorch si vous ne voulez pas Xformers. Compiler Xformers depuis les sources peut être lent, alors attention !

   # Désinstallez d’abord xformers installé par les bibliothèques précédentes
   pip uninstall xformers -y
   
   # Cloner et compiler
   pip install ninja
   export TORCH_CUDA_ARCH_LIST="12.0"
   git clone --depth=1 https://github.com/facebookresearch/xformers --recursive
   cd xformers && python setup.py install && cd ..

   Notez que nous devons définir explicitement TORCH_CUDA_ARCH_LIST=12.0.

5. transformers Installez n’importe quelle version de transformers, mais il est préférable d’obtenir la plus récente.

   uv pip install -U transformers

Conda ou mamba (Avancé)

1. Installer conda/mamba

   curl -L -O "https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-$(uname)-$(uname -m).sh"

   Exécutez le script d’installation

   bash Miniforge3-$(uname)-$(uname -m).sh

   Créez un environnement conda ou mamba

   conda create --name unsloth-blackwell python==3.12 -y

   Activez l’environnement nouvellement créé

   conda activate unsloth-blackwell

2. Installer vllm

   Assurez-vous d’être dans l’environnement conda/mamba activé. Vous devriez voir le nom de votre environnement comme préfixe dans votre terminal, comme ceci votre (unsloth-blackwell)user@machine:

   pip install -U vllm --extra-index-url https://download.pytorch.org/whl/cu128

   Notez que nous devons spécifier cu128, sinon vllm installera torch==2.7.0 mais avec des dépendances cu126.

3. Installer . Une fois le modèle chargé, l’URL du point de terminaison et la clé API s’affichent dans votre console. Copiez-les dans le client de votre choix et vous êtes prêt. dependencies

   Assurez-vous d’être dans l’environnement conda/mamba activé. Vous devriez voir le nom de votre environnement comme préfixe dans votre terminal, comme ceci votre (unsloth-blackwell)user@machine:

   pip install unsloth unsloth_zoo bitsandbytes

4. Télécharger et compiler xformers (Optionnel)

   Xformers est optionnel, mais il est nettement plus rapide et utilise moins de mémoire. Nous utiliserons le SDPA natif de PyTorch si vous ne voulez pas Xformers. Compiler Xformers depuis les sources peut être lent, alors attention !

   Vous devriez voir le nom de votre environnement comme préfixe dans votre terminal, comme ceci votre (unsloth-blackwell)user@machine:

   # Désinstallez d’abord xformers installé par les bibliothèques précédentes
   pip uninstall xformers -y
   
   # Cloner et compiler
   pip install ninja
   export TORCH_CUDA_ARCH_LIST="12.0"
   git clone --depth=1 https://github.com/facebookresearch/xformers --recursive
   cd xformers && python setup.py install && cd ..

   Notez que nous devons définir explicitement TORCH_CUDA_ARCH_LIST=12.0.

5. Mettre à jour triton

   Assurez-vous d’être dans l’environnement conda/mamba activé. Vous devriez voir le nom de votre environnement comme préfixe dans votre terminal, comme ceci votre (unsloth-blackwell)user@machine:

   pip install -U "triton>=3.3.1"

   triton>=3.3.1 est requis pour la prise en charge de Blackwell .

6. Transformers Installez n’importe quelle version de transformers, mais il est préférable d’obtenir la plus récente.

   uv pip install -U transformers

Si vous utilisez mamba comme gestionnaire de paquets, remplacez simplement conda par mamba pour toutes les commandes affichées ci-dessus.

Notes spécifiques à WSL

Si vous utilisez WSL (Windows Subsystem for Linux) et rencontrez des problèmes pendant la compilation de xformers (rappel : Xformers est optionnel, mais plus rapide pour l’entraînement), suivez ces étapes supplémentaires :

1. Augmenter la limite de mémoire WSL Créez ou modifiez le fichier de configuration WSL :

   # Créez ou modifiez .wslconfig dans votre répertoire utilisateur Windows
   # (généralement C:\Users\YourUsername\.wslconfig)
   
   # Ajoutez ces lignes au fichier
   [wsl2]
   memory=16GB  # Minimum de 16GB recommandé pour la compilation de xformers
   processors=4  # Ajustez en fonction des cœurs de votre CPU
   swap=2GB
   localhostForwarding=true

   Après avoir effectué ces modifications, redémarrez WSL :

   wsl --shutdown

2. Installer xformers Utilisez la commande suivante pour installer xformers avec une compilation optimisée pour WSL :

   # Définir l’architecture CUDA pour les GPU Blackwell
   export TORCH_CUDA_ARCH_LIST="12.0"
   
   # Installer xformers depuis les sources avec des indicateurs de compilation optimisés
   pip install -v --no-build-isolation -U git+https://github.com/facebookresearch/xformers.git@main#egg=xformers

   Le --no-build-isolation drapeau aide à éviter les problèmes potentiels de compilation dans les environnements WSL.