🛠️Unsloth 要求

以下是 Unsloth 的要求，包括系统和 GPU 显存要求。

系统要求

• 操作系统：在 Linux 和 Windows 上运行

• 自 2018 年起支持 NVIDIA GPU，包括 Blackwell RTX 50 和 DGX Spark

  • Blackwell, RTX 50 and Unsloth

  • DGX Spark and Unsloth

• 最低 CUDA 能力 7.0（V100、T4、Titan V、RTX 20 & 50、A100、H100、L40 等） 检查你的 GPU！ GTX 1070、1080 可用，但较慢。

• 官方 Unsloth Docker 映像 unsloth/unsloth 可在 Docker Hub 获取

  • Docker

• Unsloth 在以下平台上可用 AMD 和 Intel GPU！Apple/Silicon/MLX 正在开发中

• 如果你有不同版本的 torch、transformers 等， pip install unsloth 将自动安装这些库的所有最新版本，因此你不需要担心版本兼容性。

• 你的设备应具备 xformers, torch, BitsandBytes 和 triton 支持。

现已支持 Python 3.13！

微调显存要求：

使用 Unsloth 对 LLM 进行微调需要多少 GPU 内存？

当出现 OOM（内存不足）问题时，常见原因是你将批量大小设置得过高。将其设置为 1、2 或 3 可减少显存使用。

有关上下文长度基准测试，请参见 此处.

查看此表以按模型参数和微调方法排序的显存需求。QLoRA 使用 4 位，LoRA 使用 16 位。请记住，具体模型有时需要更多显存，因此这些数字为绝对最低值：

模型参数	QLoRA（4 位）显存	LoRA（16 位）显存
3B	3.5 GB	8 GB
7B	5 GB	19 GB
8B	6 GB	22 GB
9B	6.5 GB	24 GB
11B	7.5 GB	29 GB
14B	8.5 GB	33 GB
27B	22GB	64GB
32B	26 GB	76 GB
40B	30GB	96GB
70B	41 GB	164 GB
81B	48GB	192GB
90B	53GB	212GB
405B	237 GB	950 GB