Unsloth über Docker installieren

Erfahren Sie, wie Sie unsere Docker-Container mit allen vorinstallierten Abhängigkeiten für eine sofortige Installation nutzen. Keine Einrichtung erforderlich, einfach ausführen und mit dem Training beginnen!

Unsloth Docker-Image: unsloth/unsloth

⚡ Schnellstart

1

Installieren Sie Docker und das NVIDIA Container Toolkit.

Installieren Sie Docker über Linux oder Desktop (andere). Installieren Sie dann NVIDIA Container Toolkit:

Kopieren

export NVIDIA_CONTAINER_TOOLKIT_VERSION=1.17.8-1
sudo apt-get update && sudo apt-get install -y \
  nvidia-container-toolkit=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  nvidia-container-toolkit-base=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  libnvidia-container-tools=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  libnvidia-container1=${NVIDIA_CONTAINER_TOOLKIT_VERSION}

2

Starten Sie den Container.

unsloth/unsloth ist Unsloths einziges Docker-Image. Für Blackwell- und 50er-Serie-GPUs verwenden Sie dasselbe Image – kein separates erforderlich.

Kopieren

docker run -d -e JUPYTER_PASSWORD="mypassword" \
  -p 8888:8888 -p 2222:22 \
  -v $(pwd)/work:/workspace/work \
  --gpus all \
  unsloth/unsloth

3

Zugriff auf Jupyter Lab

Gehen Sie zu http://localhost:8888 und öffnen Sie Unsloth.

Greifen Sie auf die unsloth-notebooks Registerkarten zu, um Unsloth-Notebooks zu sehen.

4

Beginnen Sie mit dem Training mit Unsloth

Wenn Sie neu sind, folgen Sie unserer Schritt-für-Schritt- Feinabstimmungsanleitung, RL-Anleitung oder speichern/kopieren Sie einfach eines unserer vorgefertigten Notebooks.

📂 Container-Struktur

• /workspace/work/ — Ihr eingehängtes Arbeitsverzeichnis

• /workspace/unsloth-notebooks/ — Beispiel-Notebooks zur Feinabstimmung

• /home/unsloth/ — Benutzer-Home-Verzeichnis

📖 Nutzungsbeispiel

Vollständiges Beispiel

docker run -d -e JUPYTER_PORT=8000 \
  -e JUPYTER_PASSWORD="mypassword" \
  -e "SSH_KEY=$(cat ~/.ssh/container_key.pub)" \
  -e USER_PASSWORD="unsloth2024" \
  -p 8000:8000 -p 2222:22 \
  -v $(pwd)/work:/workspace/work \
  --gpus all \
  unsloth/unsloth

SSH-Schlüssel einrichten

Wenn Sie kein SSH-Schlüsselpaar haben:

🦥Warum Unsloth-Container?

• Zuverlässig: Kuratierte Umgebung mit stabilen und gepflegten Paketversionen. Nur 7 GB komprimiert (vs. 10–11 GB anderswo)

• Einsatzbereit: Vorinstallierte Notebooks in /workspace/unsloth-notebooks/

• Sicher: Läuft sicher als nicht-root Benutzer

• Universell: Kompatibel mit allen transformer-basierten Modellen (TTS, BERT usw.)

⚙️ Erweiterte Einstellungen

• Jupyter Lab: -p 8000:8888

• SSH-Zugriff: -p 2222:22

🔒 Sicherheitshinweise

• Der Container läuft standardmäßig als Nicht-Root- unsloth Benutzer

• Verwenden Sie USER_PASSWORD für sudo-Operationen innerhalb des Containers

• SSH-Zugriff erfordert öffentliche Schlüsselauthentifizierung