Wie man LLMs mit Unsloth & Docker finetunt

Lokales Training kann aufgrund von Abhängigkeitsproblemen oder kaputten Umgebungen komplex sein. Unsloths Docker-Image kann diese Probleme umgehen. Keine Einrichtung erforderlich: Ziehen Sie das Image und starten Sie es, um mit dem Training zu beginnen.

• Offizielles Unsloth-Docker-Image: unsloth/unsloth

Warum Unsloth & Docker verwenden?

Unsloths Docker-Image ist stabil, aktuell und funktioniert in unterstützten Setups wie Windows.

• Vollständig enthaltene Abhängigkeiten halten Ihr System sauber. Läuft sicher ohne Root-Rechte.

• Lokal oder auf jeder Plattform mit vorinstallierten Notebooks verwenden.

⚡ Schritt-für-Schritt-Anleitung

1

Installieren Sie Docker und das NVIDIA Container Toolkit.

Installieren Sie Docker über Linux oder Desktop (andere). Installieren Sie dann NVIDIA Container Toolkit:

Kopieren

export NVIDIA_CONTAINER_TOOLKIT_VERSION=1.17.8-1
sudo apt-get update && sudo apt-get install -y \
  nvidia-container-toolkit=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  nvidia-container-toolkit-base=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  libnvidia-container-tools=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  libnvidia-container1=${NVIDIA_CONTAINER_TOOLKIT_VERSION}

2

Starten Sie den Container.

unsloth/unsloth ist Unsloths einziges Docker-Image. Für Blackwell und 50er-GPUs verwenden Sie dasselbe Image – kein separates Image erforderlich. Wenn Sie DGX Spark verwenden, müssen Sie unserer DGX-Anleitung.

Kopieren

docker run -d -e JUPYTER_PASSWORD="mypassword" \
  -p 8888:8888 -p 2222:22 \
  -v $(pwd)/work:/workspace/work \
  --gpus all \
  unsloth/unsloth

3

Zugriff auf Jupyter Lab

Gehen Sie zu http://localhost:8888 und öffnen Sie Unsloth.

Greifen Sie auf die unsloth-notebooks Registerkarten zu, um Unsloth-Notebooks zu sehen.

4

Beginnen Sie mit dem Training mit Unsloth

Wenn Sie neu sind, folgen Sie unserer Schritt-für-Schritt- Feinabstimmungsanleitung, RL-Anleitung oder speichern/kopieren Sie einfach eines unserer vorgefertigten Notebooks.

📂 Container-Struktur

• /workspace/work/ — Ihr eingehängtes Arbeitsverzeichnis

• /workspace/unsloth-notebooks/ — Beispiel-Notebooks zur Feinabstimmung

• /home/unsloth/ — Benutzer-Home-Verzeichnis

📖 Nutzungsbeispiel

Vollständiges Beispiel

SSH-Schlüssel einrichten

Wenn Sie kein SSH-Schlüsselpaar haben:

⚙️ Erweiterte Einstellungen

• Jupyter Lab: -p 8000:8888

• SSH-Zugriff: -p 2222:22

🔒 Sicherheitshinweise

• Der Container läuft standardmäßig als Nicht-Root- unsloth Benutzer

• Verwenden Sie USER_PASSWORD für sudo-Operationen innerhalb des Containers

• SSH-Zugriff erfordert öffentliche Schlüsselauthentifizierung