🛠️Unsloth 要求

以下是 Unsloth 的要求，包括系统和 GPU 显存要求。

系统要求

• 操作系统：适用于 Linux 和 Windows

• 支持自 2018 年起的 NVIDIA GPU，包括 Blackwell RTX 50 和 DGX Spark

• 最低 CUDA 能力 7.0（V100、T4、Titan V、RTX 20 & 50、A100、H100、L40 等） 检查你的 GPU！ GTX 1070、1080 可用，但速度较慢。

• 官方 Unsloth Docker 镜像 unsloth/unsloth 可在 Docker Hub 上获取

  • Docker

• Unsloth 兼容 AMD 和 Intel GPU（请参考我们的 特定指南）。Apple/Silicon/MLX 正在开发中

• 你的设备应具备 xformers, torch, BitsandBytes 和 triton 支持。

• 如果你安装了不同版本的 torch、transformers 等， pip install unsloth 将自动安装这些库的所有最新版本，因此你无需担心版本兼容性。

现在支持 Python 3.13！

微调显存要求：

使用 Unsloth 进行 LLM 微调需要多少 GPU 内存？

当出现 OOM（内存不足）问题时，常见原因是你设置的批量大小过大。将其设置为 1、2 或 3 可减少显存使用。

有关上下文长度基准测试，请参见 此处.

查看此表，按模型参数和微调方法排序的显存需求。QLoRA 使用 4 位，LoRA 使用 16 位。请记住，有时根据模型需要更多显存，因此这些数字是绝对最低值：

模型参数	QLoRA（4 位）显存	LoRA（16 位）显存
3B	3.5 GB	8 GB
7B	5 GB	19 GB
8B	6 GB	22 GB
9B	6.5 GB	24 GB
11B	7.5 GB	29 GB
14B	8.5 GB	33 GB
27B	22GB	64GB
32B	26 GB	76 GB
40B	30GB	96GB
70B	41 GB	164 GB
81B	48GB	192GB
90B	53GB	212GB
405B	237 GB	950 GB