Blackwell、RTX 50シリーズとUnslothでLLMをファインチューニング

NVIDIAのBlackwell RTX 50シリーズとB200 GPUでLLMをファインチューニングする方法を、ステップバイステップガイドで学びましょう。

Unsloth は現在、NVIDIA の Blackwell アーキテクチャ GPU をサポートしています。これには、RTX 50 シリーズ GPU（5060〜5090）、RTX PRO 6000、そして B200、B40、GB100、GB102 などの GPU が含まれます！公式の NVIDIA のブログ記事はこちら.

Unsloth は現在、2018 年以降のすべての NVIDIA GPU と互換性があります。 DGX Spark.

新しい Docker イメージ は Blackwell をサポートしています。Docker イメージを実行して、トレーニングを始めましょう！ ガイド

Pip インストール

Unsloth をそのままインストールしてください：

pip install unsloth

問題が見られる場合は、別の分離された環境を作成する方法もあります：

python -m venv unsloth
source unsloth/bin/activate
pip install unsloth

なお、これは pip3 または pip3.13 である場合もあり、同様に python3 または python3.13

Xformers にいくつか問題が発生することがあります。その場合は、ソースからビルドしてください：

# まず、以前のライブラリによってインストールされた xformers をアンインストールします
pip uninstall xformers -y

# クローンしてビルド
pip install ninja
export TORCH_CUDA_ARCH_LIST="12.0"
git clone --depth=1 https://github.com/facebookresearch/xformers --recursive
cd xformers && python setup.py install && cd ..

Docker

unsloth/unsloth は Unsloth の唯一の Docker イメージです。Blackwell および 50 シリーズ GPU では、この同じイメージを使用してください。別のイメージは不要です。

インストール手順については、こちらの Unsloth Docker ガイド.

uv

uv pip install unsloth

uv（上級者向け）

インストール順序は重要です。というのも、バンドルされた依存関係を特定のバージョン（つまり、 xformers および triton).

私は uv よりも pip を使う方が好きです。なぜなら、より高速で依存関係の解決にも優れているからです。特に、 torch に依存しているが、このシナリオでは特定の CUDA バージョンが必要なライブラリに対して有効です。
インストール uv
```
curl -LsSf https://astral.sh/uv/install.sh | sh && source $HOME/.local/bin/env
```
プロジェクトディレクトリと venv を作成：
```
mkdir 'unsloth-blackwell' && cd 'unsloth-blackwell'
uv venv .venv --python=3.12 --seed
source .venv/bin/activate
```
インストール vllm
```
uv pip install -U vllm --torch-backend=cu128
```
指定する必要があることに注意してください cu128。そうしないと vllm がインストールされます torch==2.7.0 ですが cu126.
インストール unsloth の依存関係になります
```
uv pip install unsloth unsloth_zoo bitsandbytes
```
Xformers が原因でおかしな解決問題が見られる場合は、Xformers なしでソースから Unsloth をインストールすることもできます：
```
uv pip install -qqq \
"unsloth_zoo[base] @ git+https://github.com/unslothai/unsloth-zoo" \
"unsloth[base] @ git+https://github.com/unslothai/unsloth"
```
ダウンロードしてビルド xformers （任意）
Xformers は任意ですが、確実に高速でメモリ使用量も少なくなります。Xformers を使わない場合は、PyTorch のネイティブ SDPA を使用します。Xformers をソースからビルドするのは時間がかかることがあるので注意してください！
```
# まず、以前のライブラリによってインストールされた xformers をアンインストールします
pip uninstall xformers -y

# クローンしてビルド
pip install ninja
export TORCH_CUDA_ARCH_LIST="12.0"
git clone --depth=1 https://github.com/facebookresearch/xformers --recursive
cd xformers && python setup.py install && cd ..
```
明示的に TORCH_CUDA_ARCH_LIST=12.0.
transformers 任意の transformers バージョンをインストールできますが、最新を取得するのが最善です。
```
uv pip install -U transformers
```

Conda または mamba（上級者向け）

インストール conda/mamba

curl -L -O "https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-$(uname)-$(uname -m).sh"

インストールスクリプトを実行

bash Miniforge3-$(uname)-$(uname -m).sh

conda または mamba の環境を作成

conda create --name unsloth-blackwell python==3.12 -y

新しく作成した環境をアクティブ化

conda activate unsloth-blackwell

インストール vllm
アクティブ化された conda/mamba 環境の中にいることを確認してください。ターミナルのシェルの先頭に、次のように環境名が表示されるはずです (unsloth-blackwell)user@machine:
```
pip install -U vllm --extra-index-url https://download.pytorch.org/whl/cu128
```
指定する必要があることに注意してください cu128。そうしないと vllm がインストールされます torch==2.7.0 ですが cu126.
インストール unsloth の依存関係になります
アクティブ化された conda/mamba 環境の中にいることを確認してください。ターミナルのシェルの先頭に、次のように環境名が表示されるはずです (unsloth-blackwell)user@machine:
```
pip install unsloth unsloth_zoo bitsandbytes
```
ダウンロードしてビルド xformers （任意）
Xformers は任意ですが、確実に高速でメモリ使用量も少なくなります。Xformers を使わない場合は、PyTorch のネイティブ SDPA を使用します。Xformers をソースからビルドするのは時間がかかることがあるので注意してください！
ターミナルのシェルの先頭に、次のように環境名が表示されるはずです (unsloth-blackwell)user@machine:
```
# まず、以前のライブラリによってインストールされた xformers をアンインストールします
pip uninstall xformers -y

# クローンしてビルド
pip install ninja
export TORCH_CUDA_ARCH_LIST="12.0"
git clone --depth=1 https://github.com/facebookresearch/xformers --recursive
cd xformers && python setup.py install && cd ..
```
明示的に TORCH_CUDA_ARCH_LIST=12.0.
更新 triton
アクティブ化された conda/mamba 環境の中にいることを確認してください。ターミナルのシェルの先頭に、次のように環境名が表示されるはずです (unsloth-blackwell)user@machine:
```
pip install -U "triton>=3.3.1"
```
triton>=3.3.1 は Blackwell のサポートに必要です。
Transformers 任意の transformers バージョンをインストールできますが、最新を取得するのが最善です。
```
uv pip install -U transformers
```

mamba をパッケージマネージャーとして使っている場合は、上記のすべてのコマンドで conda を mamba に置き換えてください。

WSL 固有の注意事項

WSL（Windows Subsystem for Linux）を使用していて、xformers のコンパイル中に問題が発生した場合（注意：Xformers は任意ですが、トレーニングではより高速です）、以下の追加手順に従ってください：

WSL のメモリ制限を増やす WSL の設定ファイルを作成または編集します：

# Windows のユーザーディレクトリに .wslconfig を作成または編集します
#（通常は C:\Users\YourUsername\.wslconfig）

# 次の行をファイルに追加します
[wsl2]
memory=16GB  # xformers のコンパイルには最低 16GB を推奨
processors=4  # CPU コア数に応じて調整
swap=2GB
localhostForwarding=true

これらの変更を行った後、WSL を再起動します：

wsl --shutdown

xformers をインストール WSL 用に最適化されたコンパイルで xformers をインストールするには、次のコマンドを使用してください：

# Blackwell GPU 用の CUDA アーキテクチャを設定
export TORCH_CUDA_ARCH_LIST="12.0"

# 最適化されたビルドフラグでソースから xformers をインストール
pip install -v --no-build-isolation -U git+https://github.com/facebookresearch/xformers.git@main#egg=xformers

この --no-build-isolation フラグは、WSL 環境で起こりうるビルド問題の回避に役立ちます。

前へDGX Spark and Unsloth 次へAMDの力を解き放つ: Unslothの公式サポートが登場！

最終更新 4 か月前

役に立ちましたか？