Unsloth per Docker installieren

Erfahren Sie, wie Sie unsere Docker-Container mit allen vorinstallierten Abhängigkeiten für eine sofortige Installation verwenden. Keine Einrichtung erforderlich, einfach starten und mit dem Training beginnen!

Unsloth Docker-Image: unsloth/unsloth

⚡ Schnellstart

1

Installieren Sie Docker und das NVIDIA Container Toolkit.

Installieren Sie Docker über Linux oder Desktop (andere). Dann installieren Sie NVIDIA Container Toolkit:

Kopieren

export NVIDIA_CONTAINER_TOOLKIT_VERSION=1.17.8-1
sudo apt-get update && sudo apt-get install -y \
  nvidia-container-toolkit=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  nvidia-container-toolkit-base=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  libnvidia-container-tools=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  libnvidia-container1=${NVIDIA_CONTAINER_TOOLKIT_VERSION}

2

Führen Sie den Container aus.

unsloth/unsloth ist das einzige Docker-Image von Unsloth.

Kopieren

docker run -d -e JUPYTER_PASSWORD="mypassword" \
  -p 8888:8888 -p 8000:8000 -p 2222:22 \
  -v $(pwd)/work:/workspace/work \
  --gpus all \
  unsloth/unsloth

3

Greifen Sie auf Jupyter Lab zu

Gehen Sie zu http://localhost:8888 und öffnen Sie Unsloth.

Greifen Sie auf die unsloth-notebooks Registerkarten zu, um Unsloth-Notebooks anzuzeigen.

4

Beginnen Sie mit Unsloth zu trainieren

Wenn Sie neu sind, folgen Sie unserer Schritt-für-Schritt- Fine-Tuning-Anleitung, RL-Anleitung oder speichern/kopieren Sie einfach eines unserer vorgefertigten Notebooks.

📂 Container-Struktur

• /workspace/work/ — Ihr eingebundener Arbeitsordner

• /workspace/unsloth-notebooks/ — Beispiel-Notebooks für Fine-Tuning

• /home/unsloth/ — Benutzer-Home-Verzeichnis

📖 Verwendungsbeispiel

Vollständiges Beispiel

docker run -d -e JUPYTER_PORT=8000 \
  -e JUPYTER_PASSWORD="mypassword" \
  -e "SSH_KEY=$(cat ~/.ssh/container_key.pub)" \
  -e USER_PASSWORD="unsloth2024" \
  -p 8000:8000 -p 2222:22 \
  -v $(pwd)/work:/workspace/work \
  --gpus all \
  unsloth/unsloth

SSH-Schlüssel einrichten

Wenn Sie kein SSH-Schlüsselpaar haben:

🦥Warum Unsloth-Container?

• Zuverlässig: Kuratierte Umgebung mit stabilen und gepflegten Paketversionen. Nur 7 GB komprimiert (im Vergleich zu 10–11 GB anderswo)

• Sofort einsatzbereit: Vorinstallierte Notebooks in /workspace/unsloth-notebooks/

• Sicher: Läuft sicher als Nicht-Root-Benutzer

• Universell: Kompatibel mit allen transformerbasierten Modellen (TTS, BERT usw.)

Unsloth erkennt oder verwendet meine GPU nicht

Wenn das Modell Ihre GPU speziell für Docker nicht verwendet, versuchen Sie Folgendes:

Das neueste Image manuell ziehen:

• Den Container mit GPU-Zugriff starten:

  • docker run: --gpus all

  • Docker Compose: capabilities: [gpu]

• Stellen Sie unter Linux sicher, dass das NVIDIA Container Toolkit installiert ist.

• Unter Windows:

  • Prüfen Sie, ob nvcc --version mit der in nvidia-smi

  • angezeigten CUDA-Version übereinstimmt. Folgen Sie:

⚙️ Erweiterte Einstellungen

• Jupyter Lab: -p 8000:8888

• SSH-Zugriff: -p 2222:22

🔒 Sicherheitshinweise

• Container läuft standardmäßig als Nicht-Root- unsloth Benutzer

• Verwenden Sie USER_PASSWORD für sudo-Operationen innerhalb des Containers

• SSH-Zugriff erfordert Public-Key-Authentifizierung