🛠️Unsloth 需求

这里列出了 Unsloth 的需求，包括系统和 GPU VRAM 需求。

Unsloth 可以通过两种方式使用：通过 Unsloth Studio，网页界面，或通过 Unsloth Core，原始的基于代码版本。每种方式都有不同的要求。

Unsloth Studio 要求

• Mac： 训练、MLX 和 GGUF 推理均全部支持。

• CPU：Unsloth 即使没有 GPU 也仍然可用，用于聊天 + 数据配方。

• 训练： 适用于 NVIDIA：RTX 30、40、50、Blackwell、DGX Spark/Station 等 + Intel GPU

Windows

Unsloth Studio 可直接在 Windows 上运行，无需 WSL。要训练模型，请确保你的系统满足以下要求：

要求

• Windows 10 或 Windows 11（64 位）

• 已安装驱动程序的 NVIDIA GPU

• App Installer （包含 winget): 这里

• Git: winget install --id Git.Git -e --source winget

• Python：版本 3.11 及以上，但不包括 3.14

• 在 Python 环境中工作，例如 uv, venv，或 conda/mamba

MacOS

Unsloth Studio 可在 MacOS 设备上运行，并完整支持训练、MLX 和 GGUF 推理。

• macOS 12 Monterey 或更新版本（Intel 或 Apple Silicon）

• 安装 Homebrew： 这里

• Git： brew install git

• cmake： brew install cmake

• openssl： brew install openssl

• Python：版本 3.11 及以上，但不包括 3.14

• 在 Python 环境中工作，例如 uv, venv，或 conda/mamba

Linux 和 WSL

• Ubuntu 20.04+ 或类似发行版（64 位）

• 已安装驱动程序的 NVIDIA GPU

• CUDA 工具包（建议 12.4+，Blackwell 需要 12.8+）

• Git： sudo apt install git

• Python：版本 3.11 及以上，但不包括 3.14

• 在 Python 环境中工作，例如 uv, venv，或 conda/mamba

仅 CPU

Unsloth Studio 支持 CPU 设备用于 聊天 用于 GGUF 模型和 数据配方 (导出 即将推出）

• 与上面提到的 Linux（不含 NVIDIA GPU 驱动）和 MacOS 要求相同。

训练

Unsloth Studio 训练目前可在 NVIDIA GPU 上运行，AMD、MLX、Intel 支持即将推出。你仍然可以使用 原始的 Unsloth Core 在 AMD 和 Intel 设备上训练。 需要 Python 3.11–3.13 。

要求	Linux / WSL	Windows
Git	通常已预装	由安装脚本安装（winget)
CMake	预装或 sudo apt install cmake	由安装脚本安装（winget)
C++ 编译器	build-essential	Visual Studio Build Tools 2022
CUDA 工具包	可选； nvcc 自动检测	由安装脚本安装（与驱动匹配）

Unsloth Core 要求

• 操作系统：可在 Linux 和 Windows

• 支持自 2018 年以来的 NVIDIA GPU，包括 Blackwell RTX 50 和 DGX Spark

• 最低 CUDA 计算能力 7.0（V100、T4、Titan V、RTX 20 和 50、A100、H100、L40 等） 检查你的 GPU！ GTX 1070、1080 可用，但速度较慢。

• 官方 Unsloth Docker 镜像 unsloth/unsloth 可在 Docker Hub 上获取

  • Docker

• Unsloth 可运行于 AMD 和 Intel GPU（请遵循我们的 特定指南）。Apple/Silicon/MLX 正在开发中

• 你的设备应具备 xformers, torch, BitsandBytes 和 triton 支持。

• 如果你有不同版本的 torch、transformers 等， pip install unsloth 会自动安装这些库的所有最新版本，因此你不必担心版本兼容性。

支持 Python 3.13！

微调 VRAM 要求：

使用 Unsloth 进行 LLM 微调需要多少 GPU 内存？

当你发生 OOM 或内存不足时，一个常见问题是将 batch size 设得太高。将其设为 1、2 或 3 以使用更少的 VRAM。

有关上下文长度基准测试，请参见 这里.

请查看此表，其中按模型参数和微调方法排序列出了 VRAM 要求。QLoRA 使用 4 位，LoRA 使用 16 位。请注意，根据模型不同，有时需要更多 VRAM，因此这些数值是绝对最低值：

模型参数	QLoRA（4 位）VRAM	LoRA（16 位）VRAM
3B	3.5 GB	8 GB
7B	5 GB	19 GB
8B	6 GB	22 GB
9B	6.5 GB	24 GB
11B	7.5 GB	29 GB
14B	8.5 GB	33 GB
27B	22GB	64GB
32B	26 GB	76 GB
40B	30GB	96GB
70B	41 GB	164 GB
81B	48GB	192GB
90B	53GB	212GB
405B	237 GB	950 GB