Comment fine-tuner des LLM sur Windows avec Unsloth (guide étape par étape)

Installer Miniconda (ou Anaconda)

Télécharger Anaconda ici. Nous vous suggérons d’utiliser Miniconda. Pour l’utiliser, ouvrez d’abord Powershell - recherchez « Windows Powershell » dans le menu Démarrer :

Ensuite, Powershell s’ouvrira :

Ensuite, copiez-collez ce qui suit : CTRL+C, puis collez-le dans Powershell avec CTRL+V :

Invoke-WebRequest -Uri "https://repo.anaconda.com/miniconda/Miniconda3-latest-Windows-x86_64.exe" -OutFile ".\miniconda.exe"
Start-Process -FilePath ".\miniconda.exe" -ArgumentList "/S" -Wait
del .\miniconda.exe

Acceptez l’avertissement et appuyez sur « Coller quand même » puis attendez.

Il télécharge l’installateur comme ci-dessous :

Après l’installation, ouvrez open Anaconda Powershell Prompt pour utiliser Miniconda via Démarrer -> Recherchez-le :

Ensuite, vous verrez :

Créer un environnement conda

conda create --name unsloth_env python==3.12 -y
conda activate unsloth_env

Vous verrez :

Vérifier nvidia-smi pour confirmer que vous avez un GPU, et recherchez la version CUDA

Après avoir saisi nvidia-smi dans Powershell, vous devriez voir quelque chose comme ci-dessous. Si vous n’avez pas nvidia-smi ou si ce qui suit ne s’affiche pas, vous devez réinstaller les pilotes NVIDIA.

Installer PyTorch

Lors de l’exécution de nvidia-smi vous verrez en haut à droite : « CUDA Version: 13.0 ». Installez PyTorch dans PowerShell via. Modifiez 130 selon votre version CUDA - assurez-vous que la version existe et correspond à la version de votre pilote CUDA.

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu130

Vous verrez :

Essayez d’exécuter ceci en Python via python après l’installation de PyTorch :

import torch
print(torch.cuda.is_available())
A = torch.ones((10, 10), device = "cuda")
B = torch.ones((10, 10), device = "cuda")
A @ B

Vous devriez voir une matrice de 10. Vérifiez aussi que la première valeur est True.

Installer Unsloth (uniquement si PyTorch fonctionne !)

Dans Powershell (après avoir quitté Python via exit() , faites cela et attendez :

pip install unsloth

Vérifier qu’Unsloth fonctionne

Utilisez maintenant n’importe quel script dans Notebooks Unsloth (à enregistrer dans un fichier .py), ou utilisez le script de base ci-dessous :

Vous devriez voir :

🦥 Unsloth : Va modifier votre ordinateur pour permettre un affinement gratuit 2x plus rapide.
🦥 Unsloth Zoo va maintenant tout modifier pour accélérer l’entraînement !
==((====))==  Unsloth 2026.1.4 : patching rapide de Gemma3. Transformers : 4.57.6.
   \\   /|    NVIDIA GeForce RTX 3060. Nombre de GPU = 1. Mémoire maximale : 12.0 Go. Plateforme : Windows.
O^O/ \_/ \    Torch : 2.10.0+cu130. CUDA : 8.6. Kit d’outils CUDA : 13.0. Triton : 3.6.0
\        /    Bfloat16 = TRUE. FA [Xformers = 0.0.34. FA2 = False]
 "-____-"     Licence gratuite : http://github.com/unslothai/unsloth
Unsloth : le téléchargement rapide est activé - ignorez les barres de téléchargement rouges !
Unsloth : Gemma3 ne prend pas en charge SDPA - basculement vers fast eager.
Unsloth : rendre `model.base_model.model.model` dépendant des gradients
Unsloth : tokenisation de ["text"] (num_proc=1):   0%|                 | 0/210289 [00:00<?, ? examples/s]�  Unsloth : Va modifier votre ordinateur pour permettre un affinement gratuit 2x plus rapide.
🦥 Unsloth : Va modifier votre ordinateur pour permettre un affinement gratuit 2x plus rapide.

Et l’entraînement :

Installez Docker et NVIDIA Container Toolkit.

Installez Docker via Linux ou Desktop (autre). Ensuite, installez NVIDIA Container Toolkit:

export NVIDIA_CONTAINER_TOOLKIT_VERSION=1.17.8-1
sudo apt-get update && sudo apt-get install -y \
  nvidia-container-toolkit=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  nvidia-container-toolkit-base=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  libnvidia-container-tools=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  libnvidia-container1=${NVIDIA_CONTAINER_TOOLKIT_VERSION}

Exécutez le conteneur.

unsloth/unsloth est la seule image Docker d’Unsloth.

docker run -d -e JUPYTER_PASSWORD="mypassword" \
  -p 8888:8888 -p 2222:22 \
  -v $(pwd)/work:/workspace/work \
  --gpus all \
  unsloth/unsloth

Accéder à Jupyter Lab

Allez à http://localhost:8888 et ouvrez Unsloth. Accédez aux onglets unsloth-notebooks pour voir les notebooks Unsloth.

Commencer l’entraînement avec Unsloth

Si vous débutez, suivez notre guide Guide d’affinement, Guide RL ou enregistrez/copiez simplement l’un de nos notebooks.

Problèmes Docker - GPU non détecté ?

Essayez de passer par WSL via Windows

Installer WSL

Ouvrez l’Invite de commandes, le Terminal, et installez Ubuntu. Définissez le mot de passe si demandé.

Si vous n’avez PAS fait (1), donc si WSL est déjà installé, entrez dans WSL en tapant wsl puis ENTRÉE dans l’invite de commandes

Installer Python

Installer PyTorch

Si vous rencontrez des problèmes d’autorisation, utilisez –break-system-packages pour que pip install torch torchvision --force-reinstall --index-url https://download.pytorch.org/whl/cu130 –break-system-packages

Installer Unsloth et Jupyter Notebook

Si vous rencontrez des problèmes d’autorisation, utilisez –-break-system-packages pour que pip install unsloth jupyter –-break-system-packages

Lancer Unsloth via Jupyter Notebook

Ensuite, ouvrez nos notebooks dans Notebooks Unslothet chargez-les ! Vous pouvez également aller sur les notebooks Colab et télécharger > télécharger .ipynb et les charger.