Wie man LLMs mit Unsloth & Docker feinabstimmt

Erfahren Sie, wie Sie LLMs feinabstimmen oder Reinforcement Learning (RL) mit dem Docker-Image von Unsloth durchführen.

Lokales Training kann aufgrund von Abhängigkeitsproblemen oder kaputten Umgebungen komplex sein. Unsloths Docker-Image kann diese Probleme umgehen. Keine Einrichtung erforderlich: Ziehen Sie das Image und starten Sie es, um mit dem Training zu beginnen.

Offizielles Unsloth-Docker-Image: unsloth/unsloth

Warum Unsloth & Docker verwenden?

Unsloths Docker-Image ist stabil, aktuell und funktioniert in unterstützten Setups wie Windows.

Vollständig enthaltene Abhängigkeiten halten Ihr System sauber. Läuft sicher ohne Root-Rechte.
Lokal oder auf jeder Plattform mit vorinstallierten Notebooks verwenden.

Sie können jetzt unser Haupt-Docker-Image unsloth/unsloth für Blackwell- und 50er-GPUs verwenden – kein separates Image erforderlich.

⚡ Schritt-für-Schritt-Anleitung

Installieren Sie Docker und das NVIDIA Container Toolkit.

Installieren Sie Docker über Linux oder Desktop (andere). Installieren Sie dann NVIDIA Container Toolkit:

export NVIDIA_CONTAINER_TOOLKIT_VERSION=1.17.8-1
sudo apt-get update && sudo apt-get install -y \
  nvidia-container-toolkit=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  nvidia-container-toolkit-base=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  libnvidia-container-tools=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  libnvidia-container1=${NVIDIA_CONTAINER_TOOLKIT_VERSION}

Starten Sie den Container.

unsloth/unsloth ist Unsloths einziges Docker-Image. Für Blackwell und 50er-GPUs verwenden Sie dasselbe Image – kein separates Image erforderlich. Wenn Sie DGX Spark verwenden, müssen Sie unserer DGX-Anleitung.

docker run -d -e JUPYTER_PASSWORD="mypassword" \
  -p 8888:8888 -p 2222:22 \
  -v $(pwd)/work:/workspace/work \
  --gpus all \
  unsloth/unsloth

Zugriff auf Jupyter Lab

Gehen Sie zu http://localhost:8888 und öffnen Sie Unsloth.

Greifen Sie auf die unsloth-notebooks Registerkarten zu, um Unsloth-Notebooks zu sehen.

Beginnen Sie mit dem Training mit Unsloth

Wenn Sie neu sind, folgen Sie unserer Schritt-für-Schritt- Feinabstimmungsanleitung, RL-Anleitung oder speichern/kopieren Sie einfach eines unserer vorgefertigten Notebooks.

📂 Container-Struktur

/workspace/work/ — Ihr eingehängtes Arbeitsverzeichnis
/workspace/unsloth-notebooks/ — Beispiel-Notebooks zur Feinabstimmung
/home/unsloth/ — Benutzer-Home-Verzeichnis

📖 Nutzungsbeispiel

Vollständiges Beispiel

docker run -d -e JUPYTER_PORT=8000 \
  -e JUPYTER_PASSWORD="mypassword" \
  -e "SSH_KEY=$(cat ~/.ssh/container_key.pub)" \
  -e USER_PASSWORD="unsloth2024" \
  -p 8000:8000 -p 2222:22 \
  -v $(pwd)/work:/workspace/work \
  --gpus all \
  unsloth/unsloth

SSH-Schlüssel einrichten

Wenn Sie kein SSH-Schlüsselpaar haben:

# Neues Schlüsselpaar erzeugen
ssh-keygen -t rsa -b 4096 -f ~/.ssh/container_key

# Verwenden Sie den öffentlichen Schlüssel in docker run
-e "SSH_KEY=$(cat ~/.ssh/container_key.pub)"

# Verbinden Sie sich per SSH
ssh -i ~/.ssh/container_key -p 2222 unsloth@localhost

⚙️ Erweiterte Einstellungen

Variable

Beschreibung

Standard

JUPYTER_PASSWORD

Jupyter-Lab-Passwort

unsloth

JUPYTER_PORT

Jupyter-Lab-Port innerhalb des Containers

8888

SSH_KEY

Öffentlicher SSH-Schlüssel zur Authentifizierung

Keine

USER_PASSWORD

Passwort für unsloth Benutzer (sudo)

unsloth

-p <host_port>:<container_port>

Jupyter Lab: -p 8000:8888
SSH-Zugriff: -p 2222:22

Wichtig: Verwenden Sie Volume-Mounts, um Ihre Arbeit zwischen Container-Starts zu erhalten.

-v <lokaler_Ordner>:<container_ordner>

docker run -d -e JUPYTER_PORT=8000 \
  -e JUPYTER_PASSWORD="mypassword" \
  -e "SSH_KEY=$(cat ~/.ssh/container_key.pub)" \
  -e USER_PASSWORD="unsloth2024" \
  -p 8000:8000 -p 2222:22 \
  -v $(pwd)/work:/workspace/work \
  --gpus all \
  unsloth/unsloth

🔒 Sicherheitshinweise

Der Container läuft standardmäßig als Nicht-Root- unsloth Benutzer
Verwenden Sie USER_PASSWORD für sudo-Operationen innerhalb des Containers
SSH-Zugriff erfordert öffentliche Schlüsselauthentifizierung

VorherigeDGX Station

NächsteDGX Spark and Unsloth

Zuletzt aktualisiert vor 8 Monaten

War das hilfreich?