# Fine-tuning des LLMs avec Blackwell, la série RTX 50 et Unsloth Unsloth prend désormais en charge les GPU basés sur l'architecture Blackwell de NVIDIA, y compris les GPU de la série RTX 50 (5060–5090), le RTX PRO 6000, et des GPU tels que B200, B40, GB100, GB102 et bien d'autres ! Vous pouvez lire le [article de blog NVIDIA ici](https://developer.nvidia.com/blog/train-an-llm-on-an-nvidia-blackwell-desktop-with-unsloth-and-scale-it/). Unsloth est désormais compatible avec tous les GPU NVIDIA depuis 2018+, y compris le [DGX Spark](https://unsloth.ai/docs/fr/blog/fine-tuning-llms-with-nvidia-dgx-spark-and-unsloth). > **Notre nouveau** [**image Docker**](#docker) **prend en charge Blackwell. Exécutez l'image Docker et commencez l'entraînement !** [**Guide**](https://unsloth.ai/docs/fr/blog/fine-tuning-llms-with-blackwell-rtx-50-series-and-unsloth) ### Installation via pip Installez simplement Unsloth : ```bash pip install unsloth ``` Si vous rencontrez des problèmes, une autre option est de créer un environnement isolé séparé : ```bash python -m venv unsloth source unsloth/bin/activate pip install unsloth ``` Notez que cela peut être `pip3` ou `pip3.13` et aussi `python3` ou `python3.13` Vous pourriez rencontrer des problèmes avec Xformers, auquel cas vous devriez construire depuis les sources : {% code overflow="wrap" %} ```bash # Désinstaller d'abord xformers installé par des bibliothèques précédentes pip uninstall xformers -y # Cloner et construire pip install ninja export TORCH_CUDA_ARCH_LIST="12.0" git clone --depth=1 https://github.com/facebookresearch/xformers --recursive cd xformers && python setup.py install && cd .. ``` {% endcode %} ### Docker [**`unsloth/unsloth`**](https://hub.docker.com/r/unsloth/unsloth) est la seule image Docker d'Unsloth. Pour les GPU Blackwell et de la série 50, utilisez cette même image - aucune image distincte n'est nécessaire. Pour les instructions d'installation, veuillez suivre notre [guide Docker Unsloth](https://unsloth.ai/docs/fr/blog/how-to-fine-tune-llms-with-unsloth-and-docker). ### uv ```bash uv pip install unsloth ``` #### uv (Avancé) L'ordre d'installation est important, car nous souhaitons écraser les dépendances incluses par défaut avec des versions spécifiques (à savoir, `xformers` et `triton`). 1. Je préfère utiliser `uv` plutôt que `pip` car c'est plus rapide et mieux pour résoudre les dépendances, en particulier pour les bibliothèques qui dépendent de `torch` mais pour lesquelles une version spécifique `CUDA` est requise dans ce scénario. Installez `uv` ```bash curl -LsSf https://astral.sh/uv/install.sh | sh && source $HOME/.local/bin/env ``` Créez un répertoire de projet et un venv : ```bash mkdir 'unsloth-blackwell' && cd 'unsloth-blackwell' uv venv .venv --python=3.12 --seed source .venv/bin/activate ``` 2. Installez `vllm` ```bash uv pip install -U vllm --torch-backend=cu128 ``` Notez que nous devons spécifier `cu128`, sinon `vllm` installera `torch==2.7.0` mais avec `cu126`. 3. Installez `unsloth` dépendances ```bash uv pip install unsloth unsloth_zoo bitsandbytes ``` Si vous constatez des problèmes étranges de résolution dus à Xformers, vous pouvez aussi installer Unsloth depuis les sources sans Xformers : ```bash uv pip install -qqq \ "unsloth_zoo[base] @ git+https://github.com/unslothai/unsloth-zoo" \ "unsloth[base] @ git+https://github.com/unslothai/unsloth" ``` 4. Télécharger et construire `xformers` (Optionnel) Xformers est optionnel, mais il est définitivement plus rapide et utilise moins de mémoire. Nous utiliserons le SDPA natif de PyTorch si vous ne voulez pas Xformers. La compilation de Xformers depuis les sources peut être lente, soyez donc prudent ! ```bash # Désinstaller d'abord xformers installé par des bibliothèques précédentes pip uninstall xformers -y # Cloner et construire pip install ninja export TORCH_CUDA_ARCH_LIST="12.0" git clone --depth=1 https://github.com/facebookresearch/xformers --recursive cd xformers && python setup.py install && cd .. ``` Notez que nous devons explicitement définir `TORCH_CUDA_ARCH_LIST=12.0`. 5. `transformers` Installez n'importe quelle version de transformers, mais il est préférable d'obtenir la dernière. ```bash uv pip install -U transformers ``` ### Conda ou mamba (Avancé) 1. Installez `conda/mamba` ```bash curl -L -O "https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-$(uname)-$(uname -m).sh" ``` Exécutez le script d'installation ```bash bash Miniforge3-$(uname)-$(uname -m).sh ``` Créez un environnement conda ou mamba ```bash conda create --name unsloth-blackwell python==3.12 -y ``` Activez l'environnement nouvellement créé ```bash conda activate unsloth-blackwell ``` 2. Installez `vllm` Assurez-vous d'être dans l'environnement conda/mamba activé. Vous devriez voir le nom de votre environnement en préfixe de votre shell terminal comme ceci `(unsloth-blackwell)user@machine:` ```bash pip install -U vllm --extra-index-url https://download.pytorch.org/whl/cu128 ``` Notez que nous devons spécifier `cu128`, sinon `vllm` installera `torch==2.7.0` mais avec `cu126`. 3. Installez `unsloth` dépendances Assurez-vous d'être dans l'environnement conda/mamba activé. Vous devriez voir le nom de votre environnement en préfixe de votre shell terminal comme ceci `(unsloth-blackwell)user@machine:` ```bash pip install unsloth unsloth_zoo bitsandbytes ``` 4. Télécharger et construire `xformers` (Optionnel) Xformers est optionnel, mais il est définitivement plus rapide et utilise moins de mémoire. Nous utiliserons le SDPA natif de PyTorch si vous ne voulez pas Xformers. La compilation de Xformers depuis les sources peut être lente, soyez donc prudent ! Vous devriez voir le nom de votre environnement en préfixe de votre shell terminal comme ceci `(unsloth-blackwell)user@machine:` ```bash # Désinstaller d'abord xformers installé par des bibliothèques précédentes pip uninstall xformers -y # Cloner et construire pip install ninja export TORCH_CUDA_ARCH_LIST="12.0" git clone --depth=1 https://github.com/facebookresearch/xformers --recursive cd xformers && python setup.py install && cd .. ``` Notez que nous devons explicitement définir `TORCH_CUDA_ARCH_LIST=12.0`. 5. Mettre à jour `triton` Assurez-vous d'être dans l'environnement conda/mamba activé. Vous devriez voir le nom de votre environnement en préfixe de votre shell terminal comme ceci `(unsloth-blackwell)user@machine:` ```bash pip install -U triton>=3.3.1 ``` `triton>=3.3.1` est requis pour `Blackwell` la prise en charge. 6. `Transformers` Installez n'importe quelle version de transformers, mais il est préférable d'obtenir la dernière. ```bash uv pip install -U transformers ``` Si vous utilisez mamba comme gestionnaire de paquets, remplacez simplement conda par mamba pour toutes les commandes ci-dessus. ### Remarques spécifiques à WSL Si vous utilisez WSL (Windows Subsystem for Linux) et rencontrez des problèmes lors de la compilation de xformers (rappel : Xformers est optionnel, mais plus rapide pour l'entraînement), suivez ces étapes supplémentaires : 1. **Augmenter la limite de mémoire de WSL** Créez ou modifiez le fichier de configuration WSL : ```bash # Créez ou modifiez .wslconfig dans votre répertoire utilisateur Windows # (typiquement C:\Users\YourUsername\.wslconfig) # Ajoutez ces lignes au fichier [wsl2] memory=16GB # 16 Go minimum recommandés pour la compilation de xformers processors=4 # Ajustez en fonction de vos cœurs CPU swap=2GB localhostForwarding=true ``` Après avoir effectué ces modifications, redémarrez WSL : ```powershell wsl --shutdown ``` 2. **Installer xformers** Utilisez la commande suivante pour installer xformers avec une compilation optimisée pour WSL : ```bash # Définir l'architecture CUDA pour les GPU Blackwell export TORCH_CUDA_ARCH_LIST="12.0" # Installer xformers depuis les sources avec des options de compilation optimisées pip install -v --no-build-isolation -U git+https://github.com/facebookresearch/xformers.git@main#egg=xformers ``` Le `--no-build-isolation` l'option aide à éviter d'éventuels problèmes de compilation dans les environnements WSL. --- # Agent Instructions: Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter: ``` GET https://unsloth.ai/docs/fr/blog/fine-tuning-llms-with-blackwell-rtx-50-series-and-unsloth.md?ask= ``` The question should be specific, self-contained, and written in natural language. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.