search
DiscordRedditNewsletter

docker如何使用 Unsloth 与 Docker 微调 LLM

了解如何使用 Unsloth 的 Docker 镜像对 LLM 进行微调或强化学习 (RL)。

本地训练可能因依赖地狱或环境破坏而变得复杂。Unsloth 的 Docker 镜像arrow-up-right 可以绕过这些问题。无需设置：拉取并运行镜像即可开始训练。

为什么使用 Unsloth 与 Docker？

Unsloth 的 Docker 镜像稳定、最新，并且在 受支持的设置 如 Windows 上可用。

  • 完全包含的依赖使系统保持清洁。无 root 也能安全运行。

  • 可在本地或任何预装笔记本的平台上使用。

circle-check

您现在可以使用我们的主 Docker 镜像 unsloth/unsloth 用于 Blackwell 和 50 系列 GPU —— 无需单独镜像。

hashtag
⚡ 逐步教程

1

安装 Docker 和 NVIDIA Container Toolkit。

通过以下方式安装 Docker Linuxarrow-up-right 或 桌面arrow-up-right （其他）。 然后安装 NVIDIA Container Toolkitarrow-up-right:

export NVIDIA_CONTAINER_TOOLKIT_VERSION=1.17.8-1
sudo apt-get update && sudo apt-get install -y \
  nvidia-container-toolkit=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  nvidia-container-toolkit-base=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  libnvidia-container-tools=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  libnvidia-container1=${NVIDIA_CONTAINER_TOOLKIT_VERSION}
2

运行容器。

unsloth/unslotharrow-up-right 是 Unsloth 的唯一 Docker 镜像。对于 Blackwell 和 50 系列 GPU，使用相同的镜像即可 —— 无需单独镜像。如果使用 DGX Spark，您需要遵循我们的 DGX 指南.

docker run -d -e JUPYTER_PASSWORD="mypassword" \
  -p 8888:8888 -p 2222:22 \
  -v $(pwd)/work:/workspace/work \
  --gpus all \
  unsloth/unsloth
3

访问 Jupyter Lab

前往 http://localhost:8888arrow-up-right 并打开 Unsloth。

访问 unsloth-notebooks 选项卡以查看 Unsloth 笔记本。

4

开始使用 Unsloth 进行训练

如果您是新手，请按照我们的逐步 微调指南, 强化学习指南 或只是保存/复制我们任何预制的 笔记本.

hashtag
📂 容器结构

  • /workspace/work/ — 您挂载的工作目录

  • /workspace/unsloth-notebooks/ — 示例微调笔记本

  • /home/unsloth/ — 用户主目录

hashtag
📖 使用示例

hashtag
完整示例

hashtag
设置 SSH 密钥

如果您没有 SSH 密钥对：

hashtag
⚙️ 高级设置

变量
说明
默认

JUPYTER_PASSWORD

Jupyter Lab 密码

unsloth

JUPYTER_PORT

容器内的 Jupyter Lab 端口

8888

SSH_KEY

用于验证的 SSH 公钥

无

USER_PASSWORD

用户的密码（sudo） unsloth -p <host_port>:<container_port>

unsloth

  • -p 8000:8888 SSH 访问：

  • -p 2222:22 重要

circle-exclamation

： 使用卷挂载以在容器运行之间保留您的工作。-v <local_folder>:<container_folder>

hashtag
容器默认以非 root

  • 用户身份运行 unsloth 在容器内进行 sudo 操作请使用

  • 以在容器内执行 sudo 操作 USER_PASSWORD SSH 访问需要公钥认证

  • SSH 访问需要公钥认证

上一页视觉微调下一页DGX Spark and Unsloth

最后更新于

这有帮助吗？