在 AMD GPU 上使用 Unsloth 微调 LLM 指南

Unsloth 支持 AMD Radeon RX、MI300X（192GB）GPU 等。

apt install python3.10-venv python3.11-venv python3.12-venv python3.13-venv -y

python -m venv unsloth_env
source unsloth_env/bin/activate

pip install --upgrade torch==2.8.0 pytorch-triton-rocm torchvision torchaudio torchao==0.13.0 xformers --index-url https://download.pytorch.org/whl/rocm6.4

pip install --no-deps unsloth unsloth-zoo
pip install --no-deps git+https://github.com/unslothai/unsloth-zoo.git
pip install "unsloth[amd] @ git+https://github.com/unslothai/unsloth"

就这样！在我们的示例中试试一些例子 Unsloth 笔记本 页面！

🔢在 AMD GPU 上的强化学习

您可以使用我们的 📒gpt-oss RL 自动赢 2048 示例在 MI300X（192GB）GPU 上运行。目标是使用强化学习自动玩 2048 游戏并获胜。LLM（gpt-oss 20b）自动制定获胜策略，我们为获胜策略计算高奖励，为失败策略计算低奖励。

大约在 300 步左右后，奖励随时间增长！

强化学习的目标是最大化平均奖励以赢得 2048 游戏。

我们使用 AMD MI300X 机器（192GB）运行了使用 Unsloth 的 2048 强化学习示例，运行良好！

您也可以使用我们的 📒自动内核生成强化学习笔记本 同样使用 gpt-oss 在 Python 中自动创建矩阵乘法内核。该笔记本还设计了多种方法来对抗奖励作弊（reward hacking）。

我们用于自动创建这些内核的提示是：

例如，强化学习过程会学习如何在 Python 中应用 Strassen 算法以更快地进行矩阵乘法。

🛠️故障排除

截至 2025 年 10 月，AMD 平台上的 bitsandbytes 正在开发中 - 您可能会遇到 HSA_STATUS_ERROR_EXCEPTION：一个 HSAIL 操作导致硬件异常 错误。我们在 Unsloth 中内部自动禁用了 bitsandbytes，直到为版本提供修复 0.48.2.dev0 及以上。 这意味着 load_in_4bit = True 将改为使用 16 位 LoRA。通过以下方式也可以进行完整微调 full_finetuning = True

要强制使用 4bit，您需要指定实际的模型名称，例如 unsloth/gemma-3-4b-it-unsloth-bnb-4bit 并设置 use_exact_model_name = True 作为在以下函数中的额外参数 FastLanguageModel.from_pretrained 等等。

AMD GPU 还需要 bitsandbytes 的 blocksize 为 128 而不是 64——这也意味着我们的预量化模型（例如 unsloth/Llama-3.2-1B-Instruct-unsloth-bnb-4bit）来自 HuggingFace 目前将无法工作——如果检测到 AMD GPU，我们会自动切换为下载完整的 BF16 权重，然后在运行时进行量化。

📚AMD 免费一键笔记本

AMD 提供配备以下资源的一键笔记本： 免费 192GB VRAM MI300X GPU 通过他们的 Dev Cloud。完全免费训练大型模型（无需注册或信用卡）：

• Qwen3（32B）

• Llama 3.3（70B）

• Qwen3（14B）

• Mistral v0.3（7B）

• GPT OSS MXFP4（20B） - 推理

• 强化学习笔记本

  • https://oneclickamd.ai/github/unslothai/notebooks/blob/main/nb/gpt_oss_(20B)_Reinforcement_Learning_2048_Game_BF16.ipynb

您可以通过在任意 Unsloth 笔记本前加上以下内容来使用： https://oneclickamd.ai/github/unslothai/notebooks/blob/main/nb 在 Unsloth 笔记本 通过将链接从 https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Gemma3_(270M).ipynb 更改为 https://oneclickamd.ai/github/unslothai/notebooks/blob/main/nb/Gemma3_(270M).ipynb