search
RedditDiscordGitHub

square-up-rightAMD GPU での Unsloth による LLM ファインチューニング ガイド

Unsloth を使って AMD GPU 上で大規模言語モデル（LLM）をファインチューニングする方法を学びましょう。

Unslothを使って、ローカルのAMD環境でLLMをファインチューニングできるようになりました。UnslothはAMD Radeon RX、MI300X（192GB）GPUなどをサポートしています。

1

新しい隔離環境を作成する（任意）

システムのパッケージを壊さないように、隔離されたpip環境を作成できます。お使いのPythonバージョンを確認することを忘れないでください！以下の可能性があります pip3, pip3.13, python3, python.3.13 など。

apt install python3.10-venv python3.11-venv python3.12-venv python3.13-venv -y

python -m venv unsloth_env
source unsloth_env/bin/activate
2

PyTorchをインストール

最新のPyTorch、TorchAO、Xformersを以下からインストールしてください https://pytorch.org/arrow-up-right ROCMバージョンを確認するには amd-smi version 次に変更します https://download.pytorch.org/whl/rocm7.0 に合わせてください。

uv pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/rocm7.0 --upgrade --force-reinstall

また、必要であれば正しいROCMバージョンを抽出する単一のターミナルコマンドも用意しました。

ROCM_TAG="$({ command -v amd-smi >/dev/null 2>&1 && amd-smi version 2>/dev/null | awk -F'ROCm version: ' 'NF>1{split($2,a,"."); print "rocm"a[1]"."a[2]; ok=1; exit} END{exit !ok}'; } || { [ -r /opt/rocm/.info/version ] && awk -F. '{print "rocm"$1"."$2; exit}' /opt/rocm/.info/version; } || { command -v hipconfig >/dev/null 2>&1 && hipconfig --version 2>/dev/null | awk -F': *' '/HIP version/{split($2,a,"."); print "rocm"a[1]"."a[2]; ok=1; exit} END{exit !ok}'; } || { command -v dpkg-query >/dev/null 2>&1 && ver="$(dpkg-query -W -f="${Version}\n" rocm-core 2>/dev/null)" && [ -n "$ver" ] && awk -F'[.-]' '{print "rocm"$1"."$2; exit}' <<<"$ver"; } || { command -v rpm >/dev/null 2>&1 && ver="$(rpm -q --qf '%{VERSION}\n' rocm-core 2>/dev/null)" && [ -n "$ver" ] && awk -F'[.-]' '{print "rocm"$1"."$2; exit}' <<<"$ver"; })"; [ -n "$ROCM_TAG" ] && uv pip install torch torchvision torchaudio --index-url "https://download.pytorch.org/whl/$ROCM_TAG" --upgrade --force-reinstall
3

Unslothをインストール

Unslothの専用AMDブランチをインストール：

pip install --no-deps unsloth unsloth-zoo
pip install --no-deps git+https://github.com/unslothai/unsloth-zoo.git
pip install "unsloth[amd] @ git+https://github.com/unslothai/unsloth"
4

Unslothでファインチューニングを開始！

以上です。いくつかの例を私たちの Unslothノートブック ページで試してみてください！

私たちの専用の ファインチューニング または 強化学習 ガイドを見ることができます。

hashtag
🔢 AMD GPUでの強化学習

私たちの 📒gpt-oss RL auto win 2048arrow-up-right の例はMI300X（192GB）GPUで使用できます。目標は2048ゲームを自動でプレイし、RLで勝利することです。LLM（gpt-oss 20b）は2048ゲームに勝つ戦略を自動的に考案し、勝利する戦略には高い報酬を、失敗する戦略には低い報酬を与えます。

報酬は約300ステップ前後で時間とともに増加します！

RLの目標は、2048ゲームで勝つために平均報酬を最大化することです。

私たちはUnslothで2048のRL例を実行するためにAMD MI300X（192GB）マシンを使用し、うまく動作しました！

また、私たちの 📒自動カーネル生成RLノートブックarrow-up-right もgpt-ossとともに使用して、Pythonで行列乗算カーネルを自動生成できます。このノートブックは報酬ハッキングに対抗するための複数の手法も提供します。

これらのカーネルを自動生成するために使用したプロンプトは次のとおりです：

RLプロセスは、例えばPython内でより高速な行列乗算を行うためにストラッセンアルゴリズムを適用する方法を学習します。

hashtag
📚AMDの無料ワンクリックノートブック

AMDはDev Cloudを通じて、以下を備えたワンクリックノートブックを提供しています： 無料の192GB VRAM MI300X GPU で大規模モデルを完全に無料で（サインアップやクレジットカード不要で）トレーニングできます：

Loading GitHub Notebook - AMD Dev Cloudoneclickamd.aichevron-right

任意のUnslothノートブックを使用するには、先頭に次を付けてください https://oneclickamd.ai/github/unslothai/notebooks/blob/main/nb に Unsloth ノートブック リンクを次のように変更して https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Gemma3_(270M).ipynbarrow-up-right に https://oneclickamd.ai/github/unslothai/notebooks/blob/main/nb/Gemma3_(270M).ipynbarrow-up-right

前へWindows次へIntel

最終更新

役に立ちましたか？