Unsloth AMD PyTorch 合成データハッカソン

AMD GPU 上で Unsloth を実行するためのヒント、コツ、トラブルシューティングとガイド。

MI300マシンにアクセスすると、Jupyter Notebookのインターフェースが表示されます：

まず、Unslothをアップデートします そしてすべてが期待どおりに動作することを確認します - をクリックしてください ターミナル

次に、更新するために以下をで実行します ターミナル Unslothを更新するには - バージョンが 2025.10.5 以上であることを確認してください。

pip install --upgrade -qqq --no-cache-dir --force-reinstall --no-deps unsloth unsloth_zoo
python -c "import unsloth; print(unsloth.__version__)"

新しいNotebookやターミナルを作るには、PLUSボタンをクリックします

README.ipynbファイルを開いて、指示と採点基準を読んでください

🦋チュートリアル1: Unslothが動作することを確認する

新しいでシンプルなLlama 3.2 1B / 3B会話ノートブックが期待どおりに実行されることを確認します ターミナル.

wget "https://raw.githubusercontent.com/unslothai/notebooks/refs/heads/main/python_scripts/Llama3.2_(1B_and_3B)-Conversational.py" -O llama_basic.py
python llama_basic.py

以下のように表示されるはずです（2分かかります）。何か壊れたら、まずUnslothを更新してみてください via

pip install --upgrade -qqq --no-cache-dir --force-reinstall --no-deps unsloth unsloth_zoo
python -c "import unsloth; print(unsloth.__version__)"

🦥チュートリアル2: 合成データ生成の実行

tutorial.ipynbも実行できます。以下を見なくても我々のマシン上にすぐあるはずです：

それでは次に以下の例を試してみましょう https://github.com/edamamez/Unsloth-AMD-Fine-Tuning-Synthetic-Data また https://www.amd.com/en/developer/resources/technical-articles/2025/10x-model-fine-tuning-using-synthetic-data-with-unsloth.html

まず新しいを作ります ターミナル 再度 - PLUSボタンで新しいを作成できます ターミナル.

新しいでvLLMを実行してLlama 3.3 70B Instructをロードします ターミナル （新しいターミナルはPLUSボタンを使用）

vllm serve Unsloth/Llama-3.3-70B-Instruct --port 8001 --max-model-len 48000 --gpu-memory-utilization 0.85

次のように表示されます：

まで待ちます INFO: Application startup complete. その後PLUSボタンをクリックして新しいタブを開きます

インストールしてください synthetic-data-kit https://github.com/meta-llama/synthetic-data-kit 新しいで ターミナル ウィンドウ。

pip install --upgrade synthetic-data-kit

を取得します config.yaml 次のいずれかから取得します https://raw.githubusercontent.com/edamamez/Unsloth-AMD-Fine-Tuning-Synthetic-Data/refs/heads/main/config.yaml、または以下：

7KB

config.yaml

開く

wget https://raw.githubusercontent.com/edamamez/Unsloth-AMD-Fine-Tuning-Synthetic-Data/refs/heads/main/config.yaml -O config.yaml

synthetic data kitが動作したか確認します。エラーが出る場合は、1つ目のセルでvLLMが実行されていることを確認してください。

synthetic-data-kit -c config.yaml system-check

次に処理で使用するファイルを取得します：

# PDFを使用し、サンプルを保存するリポジトリを作成します
mkdir -p logical_reasoning/{sources,data/{input,parsed,generated,curated,final}}

wget -P logical_reasoning/sources/ -q --show-progress "https://www.csus.edu/indiv/d/dowdenb/4/logical-reasoning-archives/logical-reasoning-2017-12-02.pdf"   "https://people.cs.umass.edu/~pthomas/solutions/Liar_Truth.pdf"

cp logical_reasoning/sources/* logical_reasoning/data/input/
cp config.yaml logical_reasoning

では、データを取り込み処理しましょう：

cd logical_reasoning
synthetic-data-kit ingest ./data/input/ --verbose

次に、Q&A（質問と回答ペア）またはCoT（思考の連鎖）ペアを作成します（3分かかる場合があります）

synthetic-data-kit -c ../config.yaml create ./data/parsed/ --type qa --num-pairs 15 --verbose

##### または #####

synthetic-data-kit -c ../config.yaml create ./data/parsed/ --type cot --num-pairs 15 --verbose

次にLLMにデータをキュレートさせ、LLMをジャッジとして呼び出して望ましくない合成データ行を削除し、その出力を保存します - 3分かかる場合があります

synthetic-data-kit -c ../config.yaml curate ./data/generated/ --threshold 7.0 --verbose

synthetic-data-kit save-as ./data/curated/ --format ft --verbose

再度、 VRAMを節約するためにvLLMサービスをシャットダウンしてください!!! 前のタブに戻り、CTRL+Cを3回押します。あるいは参照してください Unsloth AMD PyTorch 合成データハッカソン

次に実行するノートブックを取得します（以下で入手できます） https://github.com/unslothai/notebooks/blob/main/nb/Synthetic_Data_Hackathon.ipynb:

wget "https://github.com/unslothai/notebooks/raw/refs/heads/main/nb/Synthetic_Data_Hackathon.ipynb" -O "Synthetic_Data_Hackathon.ipynb"

Out of Memoryエラーが出たら、vLLMインスタンスをシャットダウンしてください - 参照してください Unsloth AMD PyTorch 合成データハッカソン

左のフォルダボタンをクリックして「Synthetic_Data_Hackathon.ipynb」を開きます（ダブルクリック）

それから全て実行してください！

ノートブックの中央に次のように表示されます：

詳細については https://github.com/edamamez/Unsloth-AMD-Fine-Tuning-Synthetic-Data/blob/main/tutorial.ipynb 詳細については

🐬チュートリアル3: GPT-OSS 強化学習 自動カーネル生成

このノートブックはノートブックまたはPythonスクリプトとして実行できます！

Pythonスクリプト： https://github.com/unslothai/notebooks/blob/main/python_scripts/gpt_oss_(20B)_GRPO_BF16.py

ノートブック： https://github.com/unslothai/notebooks/blob/main/nb/gpt_oss_(20B)_GRPO_BF16.ipynb

wget "https://raw.githubusercontent.com/unslothai/notebooks/refs/heads/main/nb/gpt_oss_(20B)_GRPO_BF16.ipynb" -O "Auto_Kernels_RL.ipynb"

次にチュートリアル2と同様に、ファイル「Auto_Kernels_RL.ipynb」を開き、再起動してすべて実行してください！

実行して下にスクロールすると、RLを通じて自動生成された戦略で2048ゲームが実行されているのが見えます：

♦️チュートリアル4: GPT-OSS 強化学習 2048ゲーム

このノートブックはノートブックまたはPythonスクリプトとして実行できます！

Pythonスクリプト： https://github.com/unslothai/notebooks/blob/main/python_scripts/gpt_oss_(20B)_GRPO_BF16.py

ノートブック： https://github.com/unslothai/notebooks/blob/main/nb/gpt_oss_(20B)_Reinforcement_Learning_2048_Game_BF16.ipynb

wget "https://github.com/unslothai/notebooks/raw/refs/heads/main/nb/gpt_oss_(20B)_Reinforcement_Learning_2048_Game_BF16.ipynb" -O "RL_2048_Game.ipynb"

次にチュートリアル3と同様に、ファイル「Auto_Kernels_RL.ipynb」を開き、再起動してすべて実行してください！

スクロールすると、2048に勝つための戦略をRLアルゴリズムが自動生成しているのが見えます！

🌻AMD上での最適なvLLMコマンド

AMD GPUでモデルをサーブするには、パフォーマンスを向上させる次のコマンドを使用してください。aiterとflash-attentionがインストールされていることを確認するか参照してください Unsloth AMD PyTorch 合成データハッカソン

MI300X、MI325X、およびRadeon GPUの場合：

export VLLM_ROCM_USE_AITER=1
# VLLM_USE_AITER_UNIFIED_ATTENTIONはFlash Attentionがインストールされている場合にのみ機能します
export VLLM_USE_AITER_UNIFIED_ATTENTION=0
export VLLM_ROCM_USE_AITER_MHA=0
vllm serve unsloth/gpt-oss-20b \
  --no-enable-prefix-caching \
  --compilation-config '{"full_cuda_graph": true}'

MI355Xの場合は、以下を行ってください：

export VLLM_ROCM_USE_AITER=1
# VLLM_USE_AITER_UNIFIED_ATTENTIONはFlash Attentionがインストールされている場合にのみ機能します
export VLLM_USE_AITER_UNIFIED_ATTENTION=0
export VLLM_ROCM_USE_AITER_MHA=0
export VLLM_USE_AITER_TRITON_FUSED_SPLIT_QKV_ROPE=1
export VLLM_USE_AITER_TRITON_FUSED_ADD_RMSNORM_PAD=1
export TRITON_HIP_PRESHUFFLE_SCALES=1
export VLLM_USE_AITER_TRITON_GEMM=1
 
vllm serve unsloth/gpt-oss-120b \
--no-enable-prefix-caching \
--compilation-config '{"compile_sizes": [1, 2, 4, 8, 16, 24, 32, 64, 128, 256, 4096, 8192], "full_cuda_graph": true}' \
--block-size 64

🛠️トラブルシューティングとFAQ

🆓AMD GPUメモリを解放するには？

Dockerイメージ（ハッカソンのような）を使用している場合は、新しいで以下を実行します ターミナル rocm-smi -d 0 --showpids ローカルマシンの場合

# /dev/kfd または /dev/dri/render* を開いているローカルPIDを一覧表示
for p in /proc/[0-9]*; do
  readlink -f "$p/fd"/* 2>/dev/null | grep -qE '/dev/(kfd|dri/render)' || continue
  cmd=$(tr -d '\0' < "$p/cmdline" 2>/dev/null | sed 's/ \+/ /g')
  printf "%-8s %s\n" "${p##*/}" "${cmd:-[unknown]}"
done | sort -n

ローカルマシンの場合は、単に次を実行します rocm-smi -d 0 --showpids そして実行します sudo kill -9 XXXX ここで XXXX はその特定のプロセス（最も多くのVRAMを使用しているもの）に割り当てられたPIDです。

ハッカソンのようなDockerイメージの場合、最初のセルを実行した後に以下のような表示が出ることがあります：

次にVRAMを使用しているプロセス（vLLMのような）を探して、次を入力します sudo kill -9 XXXX ここで XXXX 左列に以下のように表示されているPIDです：

次で全てのGPUメモリが解放されていることを確認します rocm-smi -d 0 --showpids 例えば以下はメモリ使用が0であることを示しています：

一方で以下のように表示される場合は、最初のDockerセルイメージを再実行してプロセスを再度終了させてください。

📝torch.OutOfMemoryError: HIP out of memory RuntimeError: Engine process failed to start.

ご参照ください Unsloth AMD PyTorch 合成データハッカソン GPUが他のプロセスからメモリを使用しているか確認し、そのメモリを使用しているプロセスを削除してみてください。

また次を試してください amd-smi process --gpu 0 GPUを使用しているすべてのプロセスと各プロセスのVRAM使用量を一覧表示します：

▶️vLLM用のプラットフォームが検出されない、vLLM上のgpt-ossのアップグレード

もし次を実行しているなら vllm serve Unsloth/gpt-oss-20b 古いvLLMバージョンを使用している可能性があります。 python -c "import vllm; print(vllm.__version__)" でvLLMのバージョンを取得します。

事前構築されたハッカソンドッカーでは、次が入っています 0.7.4 残念ながらこれはGPT-OSSのような新しいモデルをサポートしていませんが、他のモデルは次のように動作します vllm serve Unsloth/Llama-3.3-70B-Instruct --port 8001 --max-model-len 48000 --gpu-memory-utilization 0.85

🧁AMD上でvLLMを最新に更新する

GPT-OSSはソースからビルドした後、まだvLLM上で動作しない場合があります - とりあえず参照してください https://rocm.blogs.amd.com/ecosystems-and-partners/openai-day-0/README.html Dockerでgpt-ossを実行するための情報です - ハッカソン環境ではDockerインサイドDockerは使用できません。次のエラーが出ることがあります：

ImportError: cannot import name 'GFX950MXScaleLayout' from 'triton_kernels.tensor_details.layout' (/usr/local/lib/python3.12/dist-packages/triton_kernels/tensor_details/layout.py)
(EngineCore_DP0 pid=44662) Process EngineCore_DP0:

最新のvLLMを取得するには、次を参照してください https://docs.vllm.ai/en/latest/getting_started/installation/gpu.html#install-specific-revisions特に、AMD GPUを使用しているすべてのプロセスをクリアした後、以下を実行してください Unsloth AMD PyTorch 合成データハッカソン

# PyTorchをインストール
pip uninstall torch -y
pip uninstall pytorch-triton-rocm -y
pip uninstall triton -y
pip install --upgrade torch==2.8.0 pytorch-triton-rocm torchvision torchaudio torchao==0.13.0 xformers --index-url https://download.pytorch.org/whl/rocm6.4

# OpenAI Tritonカーネルをインストール
pip install git+https://github.com/triton-lang/triton.git@05b2c186c1b6c9a08375389d5efe9cb4c401c075#subdirectory=python/triton_kernels

上記を実行すると（GPUを使用しているすべてのプロセスを先に終了することを忘れないでください！参照してください） Unsloth AMD PyTorch 合成データハッカソン)

（任意 折りたたみ可能なコード） に Flash Attentionをビルドする 経由（これには30分から1時間かかります）ため、30分から1時間待ちたくない場合はこれは任意です！ 一般的にはこのプロセスはスキップすることをお勧めします。 Flash Attentionをインストールしたい場合はこのセルを展開してください。

# ********任意********* 1時間待つ必要があるかもしれません!!
# ********任意********* 1時間待つ必要があるかもしれません!!
git clone https://github.com/Dao-AILab/flash-attention.git
cd flash-attention
git checkout 1a7f4dfa
git submodule update --init

# ********任意********* 1時間待つ必要があるかもしれません!!
# ********任意********* 1時間待つ必要があるかもしれません!!
ARCH=$(rocminfo | grep -m1 -oE 'gfx[0-9]+[a-z]*')
echo "検出されたGPUアーキテクチャ: $ARCH"
GPU_ARCHS="$ARCH" python3 setup.py install
cd ..
# ********任意********* 1時間待つ必要があるかもしれません!!

次のように表示されます：

Flash-Attentionの進行状況を監視するには（非常に長くなることがあります）、[296/2206]の進行を確認してください。

（必須ではありません） 次にaiterをビルドします ROCm向けのAIテンソルエンジン （これには5分かかります）

python3 -m pip uninstall -y aiter
git clone --recursive https://github.com/ROCm/aiter.git
cd aiter
git checkout $AITER_BRANCH_OR_COMMIT
git submodule sync; git submodule update --init --recursive
python3 setup.py develop
cd ..

（必須ではありません） 次にvLLMをビルドします：

pip install --upgrade pip
pip uninstall vllm -y
pip install --upgrade -qqq --no-cache-dir --force-reinstall --no-deps unsloth unsloth_zoo
pip uninstall bitsandbytes -y
pip install "unsloth[amd] @ git+https://github.com/unslothai/unsloth"

# AMD SMIをビルド & インストール
pip install /opt/rocm/share/amd_smi

# 依存関係をインストール
pip install --upgrade numba \
    scipy \
    huggingface-hub[cli,hf_transfer] \
    setuptools_scm

git clone --depth 1 --branch "v0.11.0" https://github.com/vllm-project/vllm.git vllm_build
cd vllm_build
pip install -r requirements/rocm.txt

# MI210/MI250/MI300向けにvLLMをビルドします。
export PYTORCH_ROCM_ARCH="$(rocminfo | grep -m1 -oE 'gfx[0-9]+[a-z]*')"
python3 setup.py develop
cd ..

以下のように表示されます（5〜10分お待ちください！)

次でvLLM、torchが更新されたことを確認します

python -c "import vllm, torch, unsloth; print(vllm.__version__); print(torch.__version__); print(unsloth.__version__);"
vllm

ここにはvLLMが0.11.0以上であることが表示されるはずで、torchは2025年10月時点で必ず2.8.0でなければなりません。タイプ vllm でvLLMが期待どおりに動作することを確認します。

🦥 Unsloth Zooはトレーニングを高速化するためにすべてをパッチします！
0.11.0
2.8.0+rocm6.4
2025.10.6

📖vLLMでunsloth/gpt-oss-20bを実行する

GPT-OSSはソースからビルドした後、まだvLLM上で動作しない場合があります - とりあえず参照してください https://rocm.blogs.amd.com/ecosystems-and-partners/openai-day-0/README.html Dockerでgpt-ossを実行するための情報です - ハッカソン環境ではDockerインサイドDockerは使用できません。次のエラーが出ることがあります：

ImportError: cannot import name 'GFX950MXScaleLayout' from 'triton_kernels.tensor_details.layout' (/usr/local/lib/python3.12/dist-packages/triton_kernels/tensor_details/layout.py)
(EngineCore_DP0 pid=44662) Process EngineCore_DP0:

vLLMを更新した後、 Unsloth AMD PyTorch 合成データハッカソンで、実行できます gpt-oss-20b! 参照してください Unsloth AMD PyTorch 合成データハッカソン AMD GPUでvllmを実行するためのより最適なコマンド（推論が速くなる場合があります）については参照してください

export VLLM_ROCM_USE_AITER=1
export VLLM_ROCM_USE_AITER_MHA=0
vllm serve unsloth/gpt-oss-20b \
  --no-enable-prefix-caching \
  --compilation-config '{"full_cuda_graph": true}' \
  --port 8001 \
  --max-model-len 48000 \
  --gpu-memory-utilization 0.85

⁉️RuntimeError: User specified an unsupported autocast device_type 'hip'

Unslothを更新してください！ 以下を参照してください Unsloth AMD PyTorch 合成データハッカソン

🐛NotImplementedError: Unsloth currently ok

🆕Unslothの更新

まず、Unslothをアップデートします そしてすべてが期待どおりに動作することを確認します - をクリックしてください ターミナル

次に、更新するために以下をで実行します ターミナル Unslothを更新するには - バージョンが2025.10.5以上であることを確認してください。

pip install --upgrade -qqq --no-cache-dir --force-reinstall --no-deps unsloth unsloth_zoo
pip uninstall bitsandbytes -y
pip install "unsloth[amd] @ git+https://github.com/unslothai/unsloth"
python -c "import unsloth; print(unsloth.__version__)"

ランタイムも再起動する必要があります

⁉️terminate called after throwing an instance of 'std::logic_error' what()

次を使用していることを確認してください torch==2.8.0。 以下を再実行してください：

pip install --upgrade torch==2.8.0 pytorch-triton-rocm torchvision torchaudio torchao==0.13.0 xformers --index-url https://download.pytorch.org/whl/rocm6.4

❓System has not been booted, Failed to connect to bus

次のような表示が出る場合があります：

root@270fa7fa9157:/jupyter-tutorial/AIAC_129_212_183_103/assets# reboot
System has not been booted with systemd as init system (PID 1). Can't operate.
Failed to connect to bus: Host is down
Failed to talk to init daemon.

マシンを再起動できるようにメッセージを送ってください！

🐛Configured ROCm binary not found - get_native_library()

これはbitsandbytesが正しくインストールされていないことを示しています（以下のように）：

Traceback (most recent call last):
  File "/usr/local/lib/python3.12/dist-packages/bitsandbytes/cextension.py", line 313, in <module>
    lib = get_native_library()
          ^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/dist-packages/bitsandbytes/cextension.py", line 282, in get_native_library
    raise RuntimeError(f"Configured {BNB_BACKEND} binary not found at {cuda_binary_path}")
RuntimeError: Configured ROCm binary not found at /usr/local/lib/python3.12/dist-packages/bitsandbytes/libbitsandbytes_rocm64.so

ご参照ください Unsloth AMD PyTorch 合成データハッカソンbitsandbytesとUnslothを更新してください！

❗NotImplementedError: Cannot copy out of meta tensor; no data!

これはメモリ不足を意味します。GPUメモリ解放については参照してください Unsloth AMD PyTorch 合成データハッカソン GPUメモリを解放するためのページを参照してください。

--------------------------------------------------------------------------
NotImplementedError                       Traceback (most recent call last)
Cell In[18], line 8
      5     tokenizer.pad_token_id = tokenizer.eos_token_id
      7 # ROCmに優しい設定と適切なデータ処理でトレーナーをセットアップ
----> 8 trainer = SFTTrainer(
      9     model=model,
...
--> 235 lm_head_bad = lm_head_bad.cpu().float().numpy().round(3)
    236 from collections import Counter
    237 counter = Counter()

NotImplementedError: Cannot copy out of meta tensor; no data!

💭ModuleNotFoundError("No module named 'vllm._C'") により vllm._C からのインポートに失敗しました

vLLMを再インストールしてください。使用してください vllm_build をgit cloneしているフォルダ名として使用し、ではなく vllm. Unsloth AMD PyTorch 合成データハッカソン

😯ModuleNotFoundError: No module named 'vllm'

次のことは行わないでください rm -rf vllm_build ビルドしたフォルダを削除しないでください。あるいは次でvllmを再インストールしてください Unsloth AMD PyTorch 合成データハッカソン

📒ipykernel>6.30.1はプログレスバーを壊します。

もし以下が表示されたら：

🦥 Unsloth: あなたのコンピュータをパッチしてファインチューニングを2倍速くできるようにします。
#### Unsloth: `hf_xet==1.1.10` と `ipykernel>6.30.1` はプログレスバーを壊します。現在XETで無効にしています。
#### Unsloth: プログレスバーを再有効化するには、`ipykernel==6.30.1` にダウングレードするか、修正を待ってください（参照
https://github.com/huggingface/xet-core/issues/526

現時点では無視してください - モデルのダウンロードやアップロード時のプログレスバーが表示されないだけです。

🐛AssertionError: No MXFP4 MoE backend

gpt-oss-20bを実行していてvLLM中にこれが表示された場合、次でvLLMを再インストールしてください Unsloth AMD PyTorch 合成データハッカソン

🤕NotImplementedError: Could not run `aten::empty_strided`

次を使用してください .to("cuda") ではなく .to("hip") またUnslothを更新してください Unsloth AMD PyTorch 合成データハッカソン

🐛NotImplementedError: Could not run 'aten::empty.memory_format'

ご参照ください Unsloth AMD PyTorch 合成データハッカソンbitsandbytesとUnslothを更新してください！