Unsloth による AMD AI 強化学習ハッカソン

Unsloth の開発者 Daniel Han から、Unsloth を使った AI モデル向け強化学習の実践テクニックを学びます。

Unsloth の GitHub リポジトリはこちらでご覧いただけます： https://github.com/unslothai/unsloth

AMD ファインチューニング用ノートブックへのリンクはこちら：

notebooks/nb/gpt_oss_(20B)_Reinforcement_Learning_2048_Game_BF16.ipynb at main · unslothai/notebooksGitHub

https://github.com/unslothai/notebooks/blob/main/nb/gpt_oss_(20B)_Reinforcement_Learning_2048_Game_BF16.ipynb

wget 'https://raw.githubusercontent.com/unslothai/notebooks/refs/heads/main/nb/gpt_oss_(20B)_Reinforcement_Learning_2048_Game_BF16.ipynb'

Unsloth / Unsloth Zoo をアップグレードしたい場合：

uv pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/rocm7.0 --upgrade --force-reinstall

pip uninstall unsloth unsloth_zoo -y && \
    pip install git+https://github.com/unslothai/unsloth-zoo git+https://github.com/unslothai/unsloth --no-deps --force-reinstall --no-cache-dir

bitsandbytes について：

pip install "unsloth[amd] @ git+https://github.com/unslothai/unsloth"

もし次のような表示が出たら：

error: Failed to install: bitsandbytes-1.33.7rc0-py3-none-manylinux_2_24_x86_64.whl (bitsandbytes==1.33.7rc0 (from https://github.com/bitsandbytes-foundation/bitsandbytes/releases/download/continuous-release_main/bitsandbytes-1.33.7.preview-py3-none-manylinux_2_24_x86_64.whl)) Caused by: Wheel version does not match filename (0.49.2.dev0 != 1.33.7rc0), which indicates a malformed wheel. If this is intentional, set UV_SKIP_WHEEL_FILENAME_CHECK=1.

UV_SKIP_WHEEL_FILENAME_CHECK を使用しないでください。代わりに、次のみを使用してください pip install "unsloth[amd] @ git+https://github.com/unslothai/unsloth" （uv ではなく）uv は bitsandbytes を破壊するため使用しないでください。可能であれば PR にチェックを追加してこれらを検出するようにしてください。

AMD のインストール手順については、こちらのガイドをご覧ください：

AMD