> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/jp/meru/install/amd.md).

# Unslothガイドを使ったAMD GPUでのLLMファインチューニング

Unslothを使って、AMD GPU上で大規模言語モデル（LLM）をファインチューニングする方法を学びましょう。

AMD ハードウェア上で、NVIDIA 不要で LLM を最大 2 倍高速、約 70% 少ないメモリでファインチューニングできます。Unsloth は、Windows と Linux の両方で AMD Radeon RDNA 3/3.5/4（RX 6000〜9000 シリーズ）と、MI300X（192GB）を含むデータセンター GPU をサポートします。

{% stepper %}
{% step %}

#### **1行インストーラー**

AMD 上で Unsloth をインストールするには、最も簡単なのは次のものをダウンロードすることです [デスクトップアプリ](/docs/jp/desktop.md).

<a href="https://unsloth.ai/download/windows" class="button secondary" data-icon="windows">Windows 用をダウンロード</a><a href="https://unsloth.ai/download/windows" class="button secondary" data-icon="linux">Linux 用をダウンロード</a>\
\
手動インストールの場合：

**Linux：**

```bash
curl -fsSL https://unsloth.ai/install.sh | sh
```

**Windows（PowerShell）：**

```powershell
irm https://unsloth.ai/install.ps1 | iex
```

以下の手動手順は、必要な依存関係を含めて AMD 上に Unsloth Python ライブラリをインストールしたいユーザー向けです。
{% endstep %}

{% step %}

#### **新しい分離環境を作成する（任意）**

システムパッケージを壊さないために、分離された pip 環境を作成できます。お使いの Python のバージョンを確認するのを忘れずに！ それは `pip3`, `pip3.13`, `python3`, `python.3.13` などです。

**Linux：** 3.13 を表示しています。3.11〜3.13 のいずれでもどこでも動作します（3.10 は手動インストールで動作します

{% code overflow="wrap" %}

```bash
# Linux — お使いの 3.10〜3.13 のいずれかに合わせて 3.13 を置き換えてください
apt update && apt install python3.13-venv -y
python3.13 -m venv unsloth_env
source unsloth_env/bin/activate
pip install uv
```

{% endcode %}

**Windows（PowerShell）：**&#x20;

3.13 を表示しています。unsloth\[rocm72-torch291] の追加パッケージをインストールする場合は 3.12 を使用してください

```shellscript
py -3.13 -m venv unsloth_env
unsloth_env\\Scripts\\Activate.ps1
pip install uv
```

{% endstep %}

{% step %}

#### **PyTorch をインストール**

AMD 向け extras（`unsloth[rocm72-torch291]` など、次のセクションを参照）を使って Unsloth をインストールする予定ですか？ それらには対応する PyTorch が同梱されているので、 **このセクションはスキップできます**。PyTorch を自分で管理したい場合、または使用中の ROCm バージョンが extras に含まれていない場合のみ、ここでインストールしてください。

**Linux：** \
PyTorch のインデックスから ROCm 対応の PyTorch をインストールします。ROCm のバージョンは次で確認してください： `amd-smi version` （ `ROCm バージョン：` の行を探し、その `https://download.pytorch.org/whl/rocm7.1` に合わせてください。ROCm 6.0 以降が必要です。

{% code overflow="wrap" %}

```bash
uv pip install "torch>=2.4,<2.11.0" "torchvision<0.26.0" "torchaudio<2.11.0" \

    --index-url https://download.pytorch.org/whl/rocm7.1 --upgrade --force-reinstall
```

{% endcode %}

ROCm 7.2 ではより新しい wheel（torch 2.11）が提供されるため、ROCm 7.2 では代わりに次を使用してください：

```bash
uv pip install "torch>=2.11.0,<2.12.0" torchvision torchaudio \

    --index-url https://download.pytorch.org/whl/rocm7.2 --upgrade --force-reinstall
```

利用可能な index タグは次のとおりです `rocm6.0`, `rocm6.1`, `rocm6.2`, `rocm6.3`, `rocm6.4`, `rocm7.0`, `rocm7.1`、および `rocm7.2`。ROCm 6.5〜6.9 には専用 wheel がありません（使うのは `rocm6.4`）、ROCm 7.3 以降は `rocm7.2`.

*バージョン上限は、ROCm 7.2 の wheel しかない torch 2.11 以降を誤って取得して不具合を起こすのを防ぎます。 `rocm7.1` 検出されたバージョンに合わせて、前と同様に更新してください。*

必要であれば、正しい ROCm バージョンを抽出するための単一のターミナルコマンドも用意しました。

```bash
ROCM_TAG="$({ command -v amd-smi >/dev/null 2>&1 && amd-smi version 2>/dev/null | awk -F'ROCm version: ' 'NF>1{split($2,a,"."); print "rocm"a[1]"."a[2]; ok=1; exit} END{exit !ok}'; } || { [ -r /opt/rocm/.info/version ] && awk -F. '{print "rocm"$1"."$2; exit}' /opt/rocm/.info/version; } || { command -v hipconfig >/dev/null 2>&1 && hipconfig --version 2>/dev/null | awk -F': *' '/HIP version/{split($2,a,"."); print "rocm"a[1]"."a[2]; ok=1; exit} END{exit !ok}'; } || { command -v dpkg-query >/dev/null 2>&1 && ver="$(dpkg-query -W -f="${Version}\n" rocm-core 2>/dev/null)" && [ -n "$ver" ] && awk -F'[.-]' '{print "rocm"$1"."$2; exit}' <<<"$ver"; } || { command -v rpm >/dev/null 2>&1 && ver="$(rpm -q --qf '%{VERSION}\n' rocm-core 2>/dev/null)" && [ -n "$ver" ] && awk -F'[.-]' '{print "rocm"$1"."$2; exit}' <<<"$ver"; })"; [ -n "$ROCM_TAG" ] && uv pip install "torch>=2.4,<2.11.0" "torchvision<0.26.0" "torchaudio<2.11.0" --index-url "https://download.pytorch.org/whl/$ROCM_TAG" --upgrade --force-reinstall
```

*注意：ROCm バージョンが 7.2 以上の場合は、 `$ROCM_TAG` を上のコマンド内の `rocm7.1,` に置き換えてください。7.2 以降の PyTorch wheel はまだ存在しません。*

<div data-with-frame="true"><figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FTVWdHJi4m8thLmCwOocd%2Fimage.png?alt=media&amp;token=c3c2dc1d-a405-4998-96ec-8dc320e3e4ce" alt="" width="563"><figcaption></figcaption></figure></div>
{% endstep %}

{% step %}

#### **Unsloth をインストール**

AMD extras を使って Unsloth をインストール：

{% code overflow="wrap" %}

```bash
uv pip install unsloth[amd]
```

{% endcode %}

<div data-with-frame="true"><figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fe0HmhIq3WvgX4hMh5B8N%2Fimage.png?alt=media&amp;token=8376914f-e8b8-4a84-bee9-83c80ed5ad92" alt="" width="547"><figcaption></figcaption></figure></div>

⚠️ AMD では必須：ROCm 対応の bitsandbytes をインストール\
すべての ROCm システムにはプレリリース版の bitsandbytes ビルドが必要です。バージョン ≤ 0.49.2 には、すべての AMD GPU で 4-bit デコードの NaN バグがあります。注意：この手順では `pip` ではなく `uv` を使ってください。 `uv` ファイル名のバージョン不一致のため、プレリリース wheel は拒否されます。

{% code overflow="wrap" %}

```bash
# x86_64 システム：
pip install --force-reinstall --no-cache-dir --no-deps \

    "https://github.com/bitsandbytes-foundation/bitsandbytes/releases/download/continuous-release_main/bitsandbytes-1.33.7.preview-py3-none-manylinux_2_24_x86_64.whl"

# aarch64 システム：上の URL で x86_64 を aarch64 に置き換えてください

# URL に到達できない場合の代替：
# pip install --force-reinstall --no-cache-dir --no-deps "bitsandbytes>=0.49.1"
```

{% endcode %}

<div data-with-frame="true"><figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FG8j6PTQaLqgWK0gWfi5d%2Fimage.png?alt=media&amp;token=3c25056f-932f-4373-be25-485423f94b4d" alt="" width="563"><figcaption></figcaption></figure></div>
{% endstep %}

{% step %}

#### **Unsloth でファインチューニングを始めましょう！**

これで完了です。次のページでいくつかの例を試してください： [**Unsloth Notebooks**](/docs/jp/meru/unsloth-notebooks.md) ページ！

専用の [ファインチューニング](/docs/jp/meru/fine-tuning-llms-guide.md) または [強化学習](/docs/jp/meru/reinforcement-learning-rl-guide.md) ガイドをご覧いただけます。簡単な例も以下に示します：

**1. 環境変数を設定**

{% code overflow="wrap" %}

```bash
export HSA_OVERRIDE_GFX_VERSION=9.4.2  # AMD MI300X に必要
export HF_HUB_DISABLE_XET=1            # AMD 上での HuggingFace ダウンロードの問題を修正
```

{% endcode %}

***注意：*** *`HSA_OVERRIDE_GFX_VERSION=9.4.2` は、ROCm に GPU を gfx942（MI300X）として扱わせます。これがないと、一部のカーネルがコンパイルまたは実行に失敗することがあります。*

**2. モデルを読み込み、設定**

{% code overflow="wrap" %}

```python
from unsloth import FastModel

model, tokenizer = FastModel.from_pretrained(
    model_name = "unsloth/gemma-4-26b-a4b-it",
    max_seq_length = 2048,
    load_in_4bit = True,
)

model = FastModel.get_peft_model(
    model,
    r = 16,
    lora_alpha = 16,
    target_modules = ["q_proj", "k_proj", "v_proj", "o_proj"],
)
```

{% endcode %}

**3. 学習**

{% code overflow="wrap" %}

```python
from trl import SFTTrainer, SFTConfig

trainer = SFTTrainer(
    model = model,
    tokenizer = tokenizer,
    train_dataset = dataset,
    formatting_func = formatting_func,
    args = SFTConfig(
        per_device_train_batch_size = 1,
        gradient_accumulation_steps = 4,
        max_steps = 60,
        output_dir = "outputs",
        report_to = "none",
    ),
)

trainer_stats = trainer.train()
```

{% endcode %}

<div data-with-frame="true"><figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FwIcg0yj5i1hSyHDLyMYG%2Fimage.png?alt=media&amp;token=a6cbe0c7-fdbf-4feb-ad7b-7ac55ba91872" alt="" width="375"><figcaption></figcaption></figure></div>

***注意：** AMD GPU では Flash Attention 2 は利用できません。Unsloth は自動的に Xformers にフォールバックし、ROCm 上で同等の性能を提供します。この警告は無視して問題ありません。*
{% endstep %}
{% endstepper %}

### :1234: AMD GPU での強化学習

次の :ledger:[gpt-oss RL 自動 2048 勝利](https://github.com/unslothai/notebooks/blob/main/nb/AMD-gpt_oss_\(20B\)_Reinforcement_Learning_2048_Game_BF16.ipynb) 例を MI300X（192GB）GPU 上で使えます。目的は 2048 ゲームを自動でプレイし、RL で勝利することです。LLM（gpt-oss 20b）が自動的に 2048 で勝つための戦略を考案し、勝利戦略には高い報酬を、失敗戦略には低い報酬を計算します。

{% columns %}
{% column %}

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fgit-blob-2bc5a2e25a51781fd945ab9e87e73821ed4eb6c9%2Fimage.png?alt=media" alt=""><figcaption></figcaption></figure>
{% endcolumn %}

{% column %}
報酬は、およそ 300 ステップあたりから時間とともに増加しています！

RL の目標は、2048 を勝利するための平均報酬を最大化することです。

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fgit-blob-8d7ea897fd57156a796e4f74aa2e3b60afe9d405%2F2048%20Auto%20Win%20Game%20Reward.png?alt=media" alt=""><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

Unsloth を使って 2048 の RL 例を実行するために AMD MI300X マシン（192GB）を使用しましたが、うまく動作しました！

<div><figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fgit-blob-174890aa5f63632ebe6f3f212f1ced0d0e8dc381%2FScreenshot%202025-10-17%20052504.png?alt=media" alt=""><figcaption></figcaption></figure> <figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fgit-blob-f907ba596705496515fdfb39b49d649697317ca7%2FScreenshot%202025-10-17%20052641.png?alt=media" alt=""><figcaption></figcaption></figure></div>

次の :ledger:[自動カーネル生成 RL ノートブック](https://github.com/unslothai/notebooks/blob/main/nb/AMD-gpt_oss_\(20B\)_GRPO_BF16.ipynb) も gpt-oss を使って、Python で行列乗算カーネルを自動生成できます。このノートブックには、報酬ハッキングに対処する複数の方法も組み込まれています。

{% columns %}
{% column width="50%" %}
これらのカーネルを自動生成するために使ったプロンプトは次のとおりです：

{% code overflow="wrap" %}

````
ネイティブの Python コードだけを使って、新しい高速な行列乗算関数を作成してください。
数値のリストのリストが与えられます。
以下の形式で、新しい関数をバッククォート内に出力してください：
```
python
def matmul(A, B):
    return ...
```
````

{% endcode %}
{% endcolumn %}

{% column width="50%" %}
RL の過程では、たとえば Python 内でより高速に行列乗算を行うために Strassen アルゴリズムを適用する方法を学習します。

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2Fgit-blob-ddb993e5d2c986794ede1f2b0d08897469b78506%2Fimage%20(1)%20(1)%20(1)%20(1)%20(1)%20(1).png?alt=media" alt="" width="375"><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}

### :books:AMD 無料ワンクリックノートブック

AMD は、次を備えたワンクリックノートブックを提供しています **無料の 192GB VRAM 搭載 MI300X GPU** を Dev Cloud 経由で利用できます。大規模モデルを完全無料で学習できます（サインアップやクレジットカードは不要）：

* [Qwen3（32B）](https://amd-ai-academy.com/github/unslothai/notebooks/blob/main/nb/Qwen3_\(32B\)_A100-Reasoning-Conversational.ipynb)
* [Llama 3.3（70B）](https://amd-ai-academy.com/github/unslothai/notebooks/blob/main/nb/AMD-Llama3.3_\(70B\)_A100-Conversational.ipynb)
* [Qwen3（14B）](https://amd-ai-academy.com/github/unslothai/notebooks/blob/main/nb/AMD-Qwen3_\(14B\)-Reasoning-Conversational.ipynb)
* [Mistral v0.3（7B）](https://amd-ai-academy.com/github/unslothai/notebooks/blob/main/nb/AMD-Mistral_v0.3_\(7B\)-Alpaca.ipynb)
* [GPT OSS MXFP4（20B）](https://amd-ai-academy.com/github/unslothai/notebooks/blob/main/nb/AMD-GPT_OSS_MXFP4_\(20B\)-Inference.ipynb) - 推論
* [Gemma4（E2B）](https://amd-ai-academy.com/github/unslothai/notebooks/blob/main/nb/Gemma4_\(E2B\)_Reinforcement_Learning_Sudoku_Game.ipynb) - RL スドク
* Unsloth Studio

{% embed url="<https://oneclickamd.ai/github/unslothai/notebooks/blob/main/nb/gpt_oss_(20B)_Reinforcement_Learning_2048_Game_BF16.ipynb>" %}

任意の Unsloth ノートブックは、先頭に次を付けることで使用できます <https://amd-ai-academy.com/github/unslothai/notebooks/blob/main/nb> に [Unslothノートブック](/docs/jp/meru/unsloth-notebooks.md) 次のリンクに変更することで <https://github.com/unslothai/notebooks/blob/main/nb/AMD-gpt_oss_(20B)_Reinforcement_Learning_2048_Game_BF16.ipynb>\
から <https://amd-ai-academy.com/github/unslothai/notebooks/blob/main/nb/AMD-Gemma4_(E2B)_Reinforcement_Learning_Sudoku_Game.ipynb>

{% columns %}
{% column width="33.33333333333333%" %}

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2F7NNi4jLKvmZoRnLel9Kg%2Fimage.png?alt=media&amp;token=0379eda9-569c-4614-afb5-ffec463a7676" alt=""><figcaption></figcaption></figure>
{% endcolumn %}

{% column width="66.66666666666667%" %}

<figure><img src="https://735611837-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FRfKS1GAW7BqL9lGNTcxh%2Fimage.png?alt=media&amp;token=3a8aeb01-62a7-4d55-89a9-98526052e305" alt=""><figcaption></figcaption></figure>
{% endcolumn %}
{% endcolumns %}


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:

```
GET https://unsloth.ai/docs/jp/meru/install/amd.md?ask=<question>&goal=<endgoal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.