> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/fr/blog/fine-tuning-llms-with-blackwell-rtx-50-series-and-unsloth.md).

# Fine-tuning des LLM avec Blackwell, la série RTX 50 et Unsloth

Découvrez comment fine-tuner des LLM sur les GPU Blackwell de NVIDIA, la série RTX 50 et les GPU B200 grâce à notre guide étape par étape.

Unsloth prend désormais en charge les GPU NVIDIA de l’architecture Blackwell, y compris les GPU RTX série 50 (5060–5090), RTX PRO 6000, ainsi que des GPU comme B200, B40, GB100, GB102 et plus encore ! Vous pouvez lire l’article officiel [du billet de blog NVIDIA ici](https://developer.nvidia.com/blog/train-an-llm-on-an-nvidia-blackwell-desktop-with-unsloth-and-scale-it/).

Unsloth est désormais compatible avec tous les GPU NVIDIA à partir de 2018, y compris le [DGX Spark](/docs/fr/blog/fine-tuning-llms-with-nvidia-dgx-spark-and-unsloth.md).

> **Nos nouveaux** [**image Docker**](#docker) **prend en charge Blackwell. Exécutez l’image Docker et commencez l’entraînement !** [**Guide**](/docs/fr/blog/fine-tuning-llms-with-blackwell-rtx-50-series-and-unsloth.md)

### Installer avec pip

Installez simplement Unsloth :

```bash
pip install unsloth
```

Si vous voyez des problèmes, une autre option consiste à créer un environnement isolé séparé :

```bash
python -m venv unsloth
source unsloth/bin/activate
pip install unsloth
```

Notez que cela peut être `pip3` ou `pip3.13` et aussi `python3` ou `python3.13`

Vous pourriez rencontrer certains problèmes avec Xformers ; dans ce cas, vous devriez le compiler depuis les sources :

{% code overflow="wrap" %}

```bash
# Désinstallez d’abord xformers installé par les bibliothèques précédentes
pip uninstall xformers -y

# Cloner et compiler
pip install ninja
export TORCH_CUDA_ARCH_LIST="12.0"
git clone --depth=1 https://github.com/facebookresearch/xformers --recursive
cd xformers && python setup.py install && cd ..
```

{% endcode %}

### Docker

[**`unsloth/unsloth`**](https://hub.docker.com/r/unsloth/unsloth) est la seule image Docker d’Unsloth. Pour les GPU Blackwell et de la série 50, utilisez cette même image — aucune image distincte n’est nécessaire.

Pour les instructions d’installation, veuillez suivre notre [guide Docker d’Unsloth](/docs/fr/blog/how-to-fine-tune-llms-with-unsloth-and-docker.md).

### uv

```bash
uv pip install unsloth
```

#### uv (avancé)

L’ordre d’installation est important, car nous voulons écraser les dépendances fournies avec des versions spécifiques (à savoir, `xformers` et `triton`).

1. Je préfère utiliser `uv` plutôt que `pip` car c’est plus rapide et meilleur pour résoudre les dépendances, en particulier pour les bibliothèques qui dépendent de `torch` mais pour lesquelles une `CUDA` version spécifique est requise dans ce scénario.

   Installez `uv`

   ```bash
   curl -LsSf https://astral.sh/uv/install.sh | sh && source $HOME/.local/bin/env
   ```

   Créez un répertoire de projet et un venv :

   ```bash
   mkdir 'unsloth-blackwell' && cd 'unsloth-blackwell'
   uv venv .venv --python=3.12 --seed
   source .venv/bin/activate
   ```
2. Installez `vllm`

   ```bash
   uv pip install -U vllm --torch-backend=cu128
   ```

   Notez qu’il faut spécifier `cu128`, sinon `vllm` installera `torch==2.7.0` mais avec `cu126`.
3. Installez `unsloth` dépendances

   ```bash
   uv pip install unsloth unsloth_zoo bitsandbytes
   ```

   Si vous remarquez d’étranges problèmes de résolution dus à Xformers, vous pouvez également installer Unsloth depuis les sources sans Xformers :

   ```bash
   uv pip install -qqq \
   "unsloth_zoo[base] @ git+https://github.com/unslothai/unsloth-zoo" \
   "unsloth[base] @ git+https://github.com/unslothai/unsloth"
   ```
4. Télécharger et compiler `xformers` (Facultatif)

   Xformers est facultatif, mais il est nettement plus rapide et utilise moins de mémoire. Nous utiliserons le SDPA natif de PyTorch si vous ne souhaitez pas utiliser Xformers. Compiler Xformers depuis les sources peut être lent, alors soyez prudent !

   ```bash
   # Désinstallez d’abord xformers installé par les bibliothèques précédentes
   pip uninstall xformers -y

   # Cloner et compiler
   pip install ninja
   export TORCH_CUDA_ARCH_LIST="12.0"
   git clone --depth=1 https://github.com/facebookresearch/xformers --recursive
   cd xformers && python setup.py install && cd ..
   ```

   Notez que nous devons définir explicitement `TORCH_CUDA_ARCH_LIST=12.0`.
5. `transformers` Installez n’importe quelle version de transformers, mais la meilleure option est d’obtenir la plus récente.

   ```bash
   uv pip install -U transformers
   ```

### Conda ou mamba (avancé)

1. Installez `conda/mamba`

   ```bash
   curl -L -O "https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-$(uname)-$(uname -m).sh"
   ```

   Exécutez le script d’installation

   ```bash
   bash Miniforge3-$(uname)-$(uname -m).sh
   ```

   Créez un environnement conda ou mamba

   ```bash
   conda create --name unsloth-blackwell python==3.12 -y
   ```

   Activez l’environnement nouvellement créé

   ```bash
   conda activate unsloth-blackwell
   ```
2. Installez `vllm`

   Assurez-vous d’être dans l’environnement conda/mamba activé. Vous devriez voir le nom de votre environnement comme préfixe de votre shell de terminal, comme ceci votre `(unsloth-blackwell)user@machine:`

   ```bash
   pip install -U vllm --extra-index-url https://download.pytorch.org/whl/cu128
   ```

   Notez qu’il faut spécifier `cu128`, sinon `vllm` installera `torch==2.7.0` mais avec `cu126`.
3. Installez `unsloth` dépendances

   Assurez-vous d’être dans l’environnement conda/mamba activé. Vous devriez voir le nom de votre environnement comme préfixe de votre shell de terminal, comme ceci votre `(unsloth-blackwell)user@machine:`

   ```bash
   pip install unsloth unsloth_zoo bitsandbytes
   ```
4. Télécharger et compiler `xformers` (Facultatif)

   Xformers est facultatif, mais il est nettement plus rapide et utilise moins de mémoire. Nous utiliserons le SDPA natif de PyTorch si vous ne souhaitez pas utiliser Xformers. Compiler Xformers depuis les sources peut être lent, alors soyez prudent !

   Vous devriez voir le nom de votre environnement comme préfixe de votre shell de terminal, comme ceci votre `(unsloth-blackwell)user@machine:`

   ```bash
   # Désinstallez d’abord xformers installé par les bibliothèques précédentes
   pip uninstall xformers -y

   # Cloner et compiler
   pip install ninja
   export TORCH_CUDA_ARCH_LIST="12.0"
   git clone --depth=1 https://github.com/facebookresearch/xformers --recursive
   cd xformers && python setup.py install && cd ..
   ```

   Notez que nous devons définir explicitement `TORCH_CUDA_ARCH_LIST=12.0`.
5. `Transformers` Installez n’importe quelle version de transformers, mais la meilleure option est d’obtenir la plus récente.

   ```bash
   uv pip install -U transformers
   ```

Si vous utilisez mamba comme gestionnaire de paquets, remplacez simplement conda par mamba pour toutes les commandes ci-dessus.

Ne mettez pas à niveau `triton` tout seul. Chaque `torch` version épingle la version exacte de `triton` avec laquelle il a été construit (ce qui prend déjà en charge Blackwell), donc `pip install -U triton` provoque des erreurs telles que `torch ... nécessite triton==X, mais vous avez triton Y, ce qui est incompatible`. Si vous l’avez déjà fait, installez la version nommée dans l’erreur, par exemple `pip install "triton==3.7.1"`.

### Remarques spécifiques à WSL

Si vous utilisez WSL (Windows Subsystem for Linux) et rencontrez des problèmes lors de la compilation de xformers (rappel : Xformers est facultatif, mais plus rapide pour l’entraînement), suivez ces étapes supplémentaires :

1. **Augmenter la limite de mémoire WSL** Créez ou modifiez le fichier de configuration WSL :

   ```bash
   # Créez ou modifiez .wslconfig dans le répertoire utilisateur de Windows
   # (généralement C:\Users\VotreNomUtilisateur\.wslconfig)

   # Ajoutez ces lignes au fichier
   [wsl2]
   memory=16GB  # Minimum 16 Go recommandé pour la compilation de xformers
   processors=4  # Ajustez selon le nombre de cœurs de votre CPU
   swap=2GB
   localhostForwarding=true
   ```

   Après avoir effectué ces changements, redémarrez WSL :

   ```powershell
   wsl --shutdown
   ```
2. **Installer xformers** Utilisez la commande suivante pour installer xformers avec une compilation optimisée pour WSL :

   ```bash
   # Définissez l’architecture CUDA pour les GPU Blackwell
   export TORCH_CUDA_ARCH_LIST="12.0"

   # Installez xformers depuis les sources avec des indicateurs de compilation optimisés
   pip install -v --no-build-isolation -U git+https://github.com/facebookresearch/xformers.git@main#egg=xformers
   ```

   Le `--no-build-isolation` l’indicateur aide à éviter d’éventuels problèmes de compilation dans les environnements WSL.


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://unsloth.ai/docs/fr/blog/fine-tuning-llms-with-blackwell-rtx-50-series-and-unsloth.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.