Comment affiner des LLM avec Unsloth & Docker

La formation locale peut être complexe en raison d'un enfer de dépendances ou d'environnements cassés. L' image Docker peut contourner ces problèmes. Aucune configuration n'est nécessaire : récupérez et exécutez l'image et commencez la formation.

• Image Docker officielle d'Unsloth : unsloth/unsloth

Pourquoi utiliser Unsloth & Docker ?

L'image Docker d'Unsloth est stable, à jour et fonctionne dans configurations prises en charge comme Windows.

• Des dépendances entièrement contenues gardent votre système propre. S'exécute en toute sécurité sans root.

• Utilisez localement ou sur n'importe quelle plateforme avec des notebooks préinstallés.

⚡ Tutoriel étape par étape

1

Installez Docker et NVIDIA Container Toolkit.

Installez Docker via Linux ou Bureau (autre). Puis installez NVIDIA Container Toolkit:

Copier

export NVIDIA_CONTAINER_TOOLKIT_VERSION=1.17.8-1
sudo apt-get update && sudo apt-get install -y \
  nvidia-container-toolkit=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  nvidia-container-toolkit-base=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  libnvidia-container-tools=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  libnvidia-container1=${NVIDIA_CONTAINER_TOOLKIT_VERSION}

2

Exécutez le conteneur.

unsloth/unsloth est la seule image Docker d'Unsloth. Pour Blackwell et les GPU série 50, utilisez cette même image - aucune image séparée nécessaire. Si vous utilisez DGX Spark, vous devrez suivre notre guide DGX.

Copier

docker run -d -e JUPYTER_PASSWORD="mypassword" \
  -p 8888:8888 -p 2222:22 \
  -v $(pwd)/work:/workspace/work \
  --gpus all \
  unsloth/unsloth

3

Accéder à Jupyter Lab

Allez à http://localhost:8888 et ouvrez Unsloth.

Accédez aux unsloth-notebooks onglets pour voir les notebooks Unsloth.

4

Commencez la formation avec Unsloth

Si vous êtes nouveau, suivez notre Guide de fine-tuning, Guide RL ou simplement enregistrez/copiez n'importe lequel de nos notebooks.

📂 Structure du conteneur

• /workspace/work/ — Votre répertoire de travail monté

• /workspace/unsloth-notebooks/ — Exemples de notebooks de fine-tuning

• /home/unsloth/ — Répertoire personnel de l'utilisateur

📖 Exemple d'utilisation

Exemple complet

Configuration de la clé SSH

Si vous n'avez pas de paire de clés SSH :

⚙️ Paramètres avancés

• Jupyter Lab : -p 8000:8888

• Accès SSH : -p 2222:22

🔒 Notes de sécurité

• Le conteneur s'exécute par défaut en tant qu'utilisateur non-root unsloth par défaut

• Utilisez USER_PASSWORD pour les opérations sudo à l'intérieur du conteneur

• L'accès SSH nécessite l'authentification par clé publique