search
DiscordRedditGitHub

square-up-rightAMD GPU での Unsloth による LLM ファインチューニングガイド

AMD GPU 上で Unsloth を使って大規模言語モデル（LLM）をファインチューニングする方法を学びます。

Unsloth を使えば、ローカルの AMD 環境で LLM をファインチューニングできます。Unsloth は AMD Radeon RX、MI300X（192GB）GPU などをサポートします。

1

新しい隔離された環境を作る（任意）

システムのパッケージを壊さないように、隔離された pip 環境を作成できます。ご自分の Python バージョンを確認することを忘れないでください！それは次のようなものである可能性があります pip3, pip3.13, python3, python.3.13 など。

apt install python3.10-venv python3.11-venv python3.12-venv python3.13-venv -y

python -m venv unsloth_env
source unsloth_env/bin/activate
2

PyTorch をインストール

最新の PyTorch、TorchAO、Xformers を次からインストールします https://pytorch.org/arrow-up-right ROCM バージョンを確認するには amd-smi version それから変更してください https://download.pytorch.org/whl/rocm7.0 に合わせてください。

uv pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/rocm7.0 --upgrade --force-reinstall

便利なら正しい ROCM バージョンを抽出するためのワンライナーも用意しました。

ROCM_TAG="$({ command -v amd-smi >/dev/null 2>&1 && amd-smi version 2>/dev/null | awk -F'ROCm version: ' 'NF>1{split($2,a,"."); print "rocm"a[1]"."a[2]; ok=1; exit} END{exit !ok}'; } || { [ -r /opt/rocm/.info/version ] && awk -F. '{print "rocm"$1"."$2; exit}' /opt/rocm/.info/version; } || { command -v hipconfig >/dev/null 2>&1 && hipconfig --version 2>/dev/null | awk -F': *' '/HIP version/{split($2,a,"."); print "rocm"a[1]"."a[2]; ok=1; exit} END{exit !ok}'; } || { command -v dpkg-query >/dev/null 2>&1 && ver="$(dpkg-query -W -f="${Version}\n" rocm-core 2>/dev/null)" && [ -n "$ver" ] && awk -F'[.-]' '{print "rocm"$1"."$2; exit}' <<<"$ver"; } || { command -v rpm >/dev/null 2>&1 && ver="$(rpm -q --qf '%{VERSION}\n' rocm-core 2>/dev/null)" && [ -n "$ver" ] && awk -F'[.-]' '{print "rocm"$1"."$2; exit}' <<<"$ver"; })"; [ -n "$ROCM_TAG" ] && uv pip install torch torchvision torchaudio --index-url "https://download.pytorch.org/whl/$ROCM_TAG" --upgrade --force-reinstall
3

Unsloth をインストール

Unsloth の専用 AMD ブランチをインストール：

pip install --no-deps unsloth unsloth-zoo
pip install --no-deps git+https://github.com/unslothai/unsloth-zoo.git
pip install "unsloth[amd] @ git+https://github.com/unslothai/unsloth"
4

Unsloth でファインチューニングを開始！

以上です。次は当社のいくつかの例を試してみてください、 Unsloth ノートブック ページ！

専用の ファインチューニング または 強化学習 ガイドを見ることができます。

hashtag
🔢 AMD GPU 上での強化学習

次を使用できます 📒gpt-oss RL auto win 2048arrow-up-right の例は MI300X（192GB）GPU で実行できます。目的は RL を用いて 2048 ゲームを自動的にプレイし、勝利することです。LLM（gpt-oss 20b）は 2048 を勝つための戦略を自動的に考案し、勝利する戦略には高い報酬を、失敗する戦略には低い報酬を与えます。

報酬はおおよそ 300 ステップ後くらいから増加していきます！

RL の目的は 2048 を勝つために平均報酬を最大化することです。

2048 RL の例を Unsloth で実行するために AMD MI300X（192GB）マシンを使用しましたが、うまく動作しました！

また次も使用できます 📒自動カーネル生成 RL ノートブックarrow-up-right も gpt-oss と組み合わせて Python 内で行列乗算カーネルを自動作成します。このノートブックでは報酬ハッキングに対抗するための複数の手法も採用しています。

これらのカーネルを自動生成するために使用したプロンプトは次のとおりです：

RL プロセスは、例えば Python 内で高速な行列乗算のために Strassen のアルゴリズムを適用する方法を学習します。

hashtag
📚AMD 無料ワンクリックノートブック

AMD は以下を備えたワンクリックノートブックを提供しています： 無料の 192GB VRAM MI300X GPU を Dev Cloud を通じて提供します。大規模モデルを完全に無料でトレーニングできます（登録やクレジットカード不要）：

Loading GitHub Notebook - AMD Dev Cloudoneclickamd.aichevron-right

任意の Unsloth ノートブックを使用するには先頭に次を追加します https://oneclickamd.ai/github/unslothai/notebooks/blob/main/nb に Unsloth ノートブック リンクを次から次へ変更することで https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Gemma3_(270M).ipynbarrow-up-right に https://oneclickamd.ai/github/unslothai/notebooks/blob/main/nb/Gemma3_(270M).ipynbarrow-up-right

前へWindows次へIntel

最終更新

役に立ちましたか？