> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/fr/blog/fine-tuning-llms-with-blackwell-rtx-50-series-and-unsloth.md). # Fine-tuning des LLM avec Blackwell, la série RTX 50 et Unsloth Unsloth prend désormais en charge les GPU de l’architecture Blackwell de NVIDIA, y compris les GPU RTX série 50 (5060–5090), RTX PRO 6000, ainsi que des GPU tels que B200, B40, GB100, GB102 et plus encore ! Vous pouvez lire l’article officiel de [blog NVIDIA ici](https://developer.nvidia.com/blog/train-an-llm-on-an-nvidia-blackwell-desktop-with-unsloth-and-scale-it/). Unsloth est maintenant compatible avec tous les GPU NVIDIA depuis 2018+, y compris le [DGX Spark](/docs/fr/blog/fine-tuning-llms-with-nvidia-dgx-spark-and-unsloth.md). > **Notre nouvelle** [**image Docker**](#docker) **prend en charge Blackwell. Exécutez l’image Docker et commencez l’entraînement !** [**Guide**](/docs/fr/blog/fine-tuning-llms-with-blackwell-rtx-50-series-and-unsloth.md) ### Installation pip Installez simplement Unsloth : ```bash pip install unsloth ``` Si vous rencontrez des problèmes, une autre option consiste à créer un environnement isolé séparé : ```bash python -m venv unsloth source unsloth/bin/activate pip install unsloth ``` Notez que cela pourrait être `pip3` `pip3.13` et aussi `python3` `python3.13` Vous pourriez rencontrer certains problèmes avec Xformers, auquel cas vous devriez compiler depuis les sources : {% code overflow="wrap" %} ```bash # Désinstallez d’abord xformers installé par les bibliothèques précédentes pip uninstall xformers -y # Cloner et compiler pip install ninja export TORCH_CUDA_ARCH_LIST="12.0" git clone --depth=1 https://github.com/facebookresearch/xformers --recursive cd xformers && python setup.py install && cd .. ``` {% endcode %} ### Docker [**`unsloth/unsloth`**](https://hub.docker.com/r/unsloth/unsloth) est la seule image Docker d’Unsloth. Pour Blackwell et les GPU série 50, utilisez cette même image - aucune image séparée n’est nécessaire. Pour les instructions d’installation, veuillez suivre notre [guide Docker Unsloth](/docs/fr/blog/how-to-fine-tune-llms-with-unsloth-and-docker.md). ### uv ```bash uv pip install unsloth ``` #### uv (Avancé) L’ordre d’installation est important, puisque nous voulons écraser les dépendances regroupées avec des versions spécifiques (à savoir, `xformers` et `triton`). 1. Je préfère utiliser `uv` plutôt que `pip` car c’est plus rapide et meilleur pour résoudre les dépendances, en particulier pour les bibliothèques qui dépendent de `torch` mais pour lesquelles une version spécifique de `CUDA` est requise dans ce scénario. Installer `uv` ```bash curl -LsSf https://astral.sh/uv/install.sh | sh && source $HOME/.local/bin/env ``` Créez un répertoire de projet et un venv : ```bash mkdir 'unsloth-blackwell' && cd 'unsloth-blackwell' uv venv .venv --python=3.12 --seed source .venv/bin/activate ``` 2. Installer `vllm` ```bash uv pip install -U vllm --torch-backend=cu128 ``` Notez que nous devons spécifier `cu128`, sinon `vllm` installera `torch==2.7.0` mais avec des dépendances `cu126`. 3. Installer `. Une fois le modèle chargé, l’URL du point de terminaison et la clé API s’affichent dans votre console. Copiez-les dans le client de votre choix et vous êtes prêt.` dependencies ```bash uv pip install unsloth unsloth_zoo bitsandbytes ``` Si vous remarquez d’étranges problèmes de résolution dus à Xformers, vous pouvez aussi installer Unsloth depuis les sources sans Xformers : ```bash uv pip install -qqq \ "unsloth_zoo[base] @ git+https://github.com/unslothai/unsloth-zoo" \ "unsloth[base] @ git+https://github.com/unslothai/unsloth" ``` 4. Télécharger et compiler `xformers` (Optionnel) Xformers est optionnel, mais il est nettement plus rapide et utilise moins de mémoire. Nous utiliserons le SDPA natif de PyTorch si vous ne voulez pas Xformers. Compiler Xformers depuis les sources peut être lent, alors attention ! ```bash # Désinstallez d’abord xformers installé par les bibliothèques précédentes pip uninstall xformers -y # Cloner et compiler pip install ninja export TORCH_CUDA_ARCH_LIST="12.0" git clone --depth=1 https://github.com/facebookresearch/xformers --recursive cd xformers && python setup.py install && cd .. ``` Notez que nous devons définir explicitement `TORCH_CUDA_ARCH_LIST=12.0`. 5. `transformers` Installez n’importe quelle version de transformers, mais il est préférable d’obtenir la plus récente. ```bash uv pip install -U transformers ``` ### Conda ou mamba (Avancé) 1. Installer `conda/mamba` ```bash curl -L -O "https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-$(uname)-$(uname -m).sh" ``` Exécutez le script d’installation ```bash bash Miniforge3-$(uname)-$(uname -m).sh ``` Créez un environnement conda ou mamba ```bash conda create --name unsloth-blackwell python==3.12 -y ``` Activez l’environnement nouvellement créé ```bash conda activate unsloth-blackwell ``` 2. Installer `vllm` Assurez-vous d’être dans l’environnement conda/mamba activé. Vous devriez voir le nom de votre environnement comme préfixe dans votre terminal, comme ceci votre `(unsloth-blackwell)user@machine:` ```bash pip install -U vllm --extra-index-url https://download.pytorch.org/whl/cu128 ``` Notez que nous devons spécifier `cu128`, sinon `vllm` installera `torch==2.7.0` mais avec des dépendances `cu126`. 3. Installer `. Une fois le modèle chargé, l’URL du point de terminaison et la clé API s’affichent dans votre console. Copiez-les dans le client de votre choix et vous êtes prêt.` dependencies Assurez-vous d’être dans l’environnement conda/mamba activé. Vous devriez voir le nom de votre environnement comme préfixe dans votre terminal, comme ceci votre `(unsloth-blackwell)user@machine:` ```bash pip install unsloth unsloth_zoo bitsandbytes ``` 4. Télécharger et compiler `xformers` (Optionnel) Xformers est optionnel, mais il est nettement plus rapide et utilise moins de mémoire. Nous utiliserons le SDPA natif de PyTorch si vous ne voulez pas Xformers. Compiler Xformers depuis les sources peut être lent, alors attention ! Vous devriez voir le nom de votre environnement comme préfixe dans votre terminal, comme ceci votre `(unsloth-blackwell)user@machine:` ```bash # Désinstallez d’abord xformers installé par les bibliothèques précédentes pip uninstall xformers -y # Cloner et compiler pip install ninja export TORCH_CUDA_ARCH_LIST="12.0" git clone --depth=1 https://github.com/facebookresearch/xformers --recursive cd xformers && python setup.py install && cd .. ``` Notez que nous devons définir explicitement `TORCH_CUDA_ARCH_LIST=12.0`. 5. Mettre à jour `triton` Assurez-vous d’être dans l’environnement conda/mamba activé. Vous devriez voir le nom de votre environnement comme préfixe dans votre terminal, comme ceci votre `(unsloth-blackwell)user@machine:` ```bash pip install -U "triton>=3.3.1" ``` `triton>=3.3.1` est requis pour la prise en charge de `Blackwell` . 6. `Transformers` Installez n’importe quelle version de transformers, mais il est préférable d’obtenir la plus récente. ```bash uv pip install -U transformers ``` Si vous utilisez mamba comme gestionnaire de paquets, remplacez simplement conda par mamba pour toutes les commandes affichées ci-dessus. ### Notes spécifiques à WSL Si vous utilisez WSL (Windows Subsystem for Linux) et rencontrez des problèmes pendant la compilation de xformers (rappel : Xformers est optionnel, mais plus rapide pour l’entraînement), suivez ces étapes supplémentaires : 1. **Augmenter la limite de mémoire WSL** Créez ou modifiez le fichier de configuration WSL : ```bash # Créez ou modifiez .wslconfig dans votre répertoire utilisateur Windows # (généralement C:\Users\YourUsername\.wslconfig) # Ajoutez ces lignes au fichier [wsl2] memory=16GB # Minimum de 16GB recommandé pour la compilation de xformers processors=4 # Ajustez en fonction des cœurs de votre CPU swap=2GB localhostForwarding=true ``` Après avoir effectué ces modifications, redémarrez WSL : ```powershell wsl --shutdown ``` 2. **Installer xformers** Utilisez la commande suivante pour installer xformers avec une compilation optimisée pour WSL : ```bash # Définir l’architecture CUDA pour les GPU Blackwell export TORCH_CUDA_ARCH_LIST="12.0" # Installer xformers depuis les sources avec des indicateurs de compilation optimisés pip install -v --no-build-isolation -U git+https://github.com/facebookresearch/xformers.git@main#egg=xformers ``` Le `--no-build-isolation` drapeau aide à éviter les problèmes potentiels de compilation dans les environnements WSL. --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter: ``` GET https://unsloth.ai/docs/fr/blog/fine-tuning-llms-with-blackwell-rtx-50-series-and-unsloth.md?ask= ``` The question should be specific, self-contained, and written in natural language. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.