Unsloth per Docker installieren

Erfahren Sie, wie Sie unsere Docker-Container mit allen vorinstallierten Abhängigkeiten für eine sofortige Installation verwenden. Keine Einrichtung erforderlich, einfach ausführen und mit dem Training beginnen!

Unsloth-Docker-Image: unsloth/unsloth

⚡ Schnellstart

1

Installieren Sie Docker und das NVIDIA Container Toolkit.

Installieren Sie Docker über Linux oder Desktop (andere). Dann installieren Sie NVIDIA Container Toolkit:

Kopieren

export NVIDIA_CONTAINER_TOOLKIT_VERSION=1.17.8-1
sudo apt-get update && sudo apt-get install -y \
  nvidia-container-toolkit=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  nvidia-container-toolkit-base=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  libnvidia-container-tools=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  libnvidia-container1=${NVIDIA_CONTAINER_TOOLKIT_VERSION}

2

Führen Sie den Container aus.

unsloth/unsloth ist Unsloths einziges Docker-Image.

Kopieren

docker run -d -e JUPYTER_PASSWORD="mypassword" \
  -p 8888:8888 -p 8000:8000 -p 2222:22 \
  -v $(pwd)/work:/workspace/work \
  --gpus all \
  unsloth/unsloth

3

Greifen Sie auf Jupyter Lab zu

Gehen Sie zu http://localhost:8888 und öffnen Sie Unsloth.

Greifen Sie auf die unsloth-notebooks -Tabs zu, um die Unsloth-Notebooks zu sehen.

4

Beginnen Sie mit dem Training mit Unsloth

Wenn Sie neu sind, folgen Sie unserer Schritt-für-Schritt- Fine-Tuning-Anleitung, RL-Anleitung oder speichern/kopieren Sie einfach eines unserer vorgefertigten Notebooks.

📂 Container-Struktur

• /workspace/work/ — Ihr eingebundenes Arbeitsverzeichnis

• /workspace/unsloth-notebooks/ — Beispiel-Notebooks für Fine-Tuning

• /home/unsloth/ — Home-Verzeichnis des Benutzers

📖 Anwendungsbeispiel

Vollständiges Beispiel

docker run -d -e JUPYTER_PORT=8000 \
  -e JUPYTER_PASSWORD="mypassword" \
  -e "SSH_KEY=$(cat ~/.ssh/container_key.pub)" \
  -e USER_PASSWORD="unsloth2024" \
  -p 8000:8000 -p 2222:22 \
  -v $(pwd)/work:/workspace/work \
  --gpus all \
  unsloth/unsloth

SSH-Schlüssel einrichten

Wenn Sie kein SSH-Schlüsselpaar haben:

🦥Warum Unsloth-Container?

• Zuverlässig: Kuratiertes Umfeld mit stabilen und gepflegten Paketversionen. Nur 7 GB komprimiert (vs. 10–11 GB anderswo)

• Sofort einsatzbereit: Vorinstallierte Notebooks in /workspace/unsloth-notebooks/

• Sicher: Läuft sicher als Nicht-Root-Benutzer

• Universell: Kompatibel mit allen transformerbasierten Modellen (TTS, BERT usw.)

⚙️ Erweiterte Einstellungen

• Jupyter Lab: -p 8000:8888

• SSH-Zugriff: -p 2222:22

🔒 Sicherheitshinweise

• Container läuft standardmäßig als Nicht-Root- unsloth Benutzer

• Verwenden Sie USER_PASSWORD für sudo-Operationen innerhalb des Containers

• SSH-Zugriff erfordert öffentliche Schlüssel-Authentifizierung