Installer Unsloth via Docker

Découvrez comment utiliser nos conteneurs Docker avec toutes les dépendances préinstallées pour une installation immédiate. Aucune configuration requise, il suffit de lancer et de commencer l’entraînement !

Image Docker Unsloth : unsloth/unsloth

⚡ Démarrage rapide

1

Installez Docker et NVIDIA Container Toolkit.

Installez Docker via Linux ou Desktop (autre). Puis installez NVIDIA Container Toolkit:

Copier

export NVIDIA_CONTAINER_TOOLKIT_VERSION=1.17.8-1
sudo apt-get update && sudo apt-get install -y \
  nvidia-container-toolkit=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  nvidia-container-toolkit-base=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  libnvidia-container-tools=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  libnvidia-container1=${NVIDIA_CONTAINER_TOOLKIT_VERSION}

2

Lancez le conteneur.

unsloth/unsloth est la seule image Docker d’Unsloth.

Copier

docker run -d -e JUPYTER_PASSWORD="mypassword" \
  -p 8888:8888 -p 8000:8000 -p 2222:22 \
  -v $(pwd)/work:/workspace/work \
  --gpus all \
  unsloth/unsloth

3

Accéder à Jupyter Lab

Rendez-vous sur http://localhost:8888 et ouvrez Unsloth.

Accédez aux onglets unsloth-notebooks pour voir les notebooks Unsloth.

4

Commencez l’entraînement avec Unsloth

Si vous débutez, suivez notre guide pas à pas Guide de fine-tuning, Guide RL ou enregistrez/copie simplement l’un de nos notebooks.

📂 Structure du conteneur

• /workspace/work/ — Votre répertoire de travail monté

• /workspace/unsloth-notebooks/ — Exemples de notebooks de fine-tuning

• /home/unsloth/ — Répertoire personnel de l’utilisateur

📖 Exemple d’utilisation

Exemple complet

docker run -d -e JUPYTER_PORT=8000 \
  -e JUPYTER_PASSWORD="mypassword" \
  -e "SSH_KEY=$(cat ~/.ssh/container_key.pub)" \
  -e USER_PASSWORD="unsloth2024" \
  -p 8000:8000 -p 2222:22 \
  -v $(pwd)/work:/workspace/work \
  --gpus all \
  unsloth/unsloth

Configuration de la clé SSH

Si vous n’avez pas de paire de clés SSH :

🦥Pourquoi les conteneurs Unsloth ?

• Fiable: Environnement sélectionné avec des versions de paquets stables et maintenues. Seulement 7 Go compressés (contre 10–11 Go ailleurs)

• Prêt à l’emploi: Notebooks préinstallés dans /workspace/unsloth-notebooks/

• Sécurisé: S’exécute en toute sécurité en tant qu’utilisateur non-root

• Universel: Compatible avec tous les modèles basés sur des transformeurs (TTS, BERT, etc.)

Unsloth ne détecte pas ou n’utilise pas mon GPU

Si le modèle n’utilise pas votre GPU spécifiquement pour Docker, essayez :

En tirant manuellement la dernière image :

• Démarrez le conteneur avec l’accès GPU :

  • docker run: --gpus all

  • Docker Compose : capabilities: [gpu]

• Sous Linux, assurez-vous que NVIDIA Container Toolkit est installé.

• Sous Windows :

  • Vérifiez que nvcc --version correspond à la version CUDA affichée dans nvidia-smi

  • Suivez : https://docs.docker.com/desktop/features/gpu/

⚙️ Paramètres avancés

• Jupyter Lab : -p 8000:8888

• Accès SSH : -p 2222:22

🔒 Notes de sécurité

• Le conteneur s’exécute par défaut en tant que non-root unsloth utilisateur

• Utilisez USER_PASSWORD pour les opérations sudo à l’intérieur du conteneur

• L’accès SSH nécessite une authentification par clé publique