Blackwell、RTX 50 シリーズ & Unsloth を使った LLM ファインチューニング

NVIDIA の Blackwell RTX 50 シリーズおよび B200 GPU 上で LLM をファインチューニングするためのステップバイステップガイド。

Unslothは現在、RTX 50シリーズGPU（5060–5090）、RTX PRO 6000、およびB200、B40、GB100、GB102などのGPUを含むNVIDIAのBlackwellアーキテクチャGPUをサポートしています！公式の NVIDIAブログ投稿はこちら.

Unslothは2018年以降のすべてのNVIDIA GPU（以下を含む）と互換性があります DGX Spark.

私たちの新しい を使って Unsloth をインストールすることもできます。 はBlackwellをサポートします。Dockerイメージを実行してトレーニングを開始してください！ ガイド

Pipインストール

Unslothを簡単にインストール：

pip install unsloth

問題が発生する場合、別のオプションとして分離された環境を作成する方法があります：

python -m venv unsloth
source unsloth/bin/activate
pip install unsloth

注意：それは pip3 または pip3.13 また python3 または python3.13

Xformersに関する問題が発生する可能性があり、その場合はソースからビルドするべきです：

# まず以前のライブラリによってインストールされた xformers をアンインストール
pip uninstall xformers -y

# クローンしてビルド
pip install ninja
export TORCH_CUDA_ARCH_LIST="12.0"
git clone --depth=1 https://github.com/facebookresearch/xformers --recursive
cd xformers && python setup.py install && cd ..

Docker

unsloth/unsloth はUnslothの唯一のDockerイメージです。Blackwellおよび50シリーズGPUについては、この同じイメージを使用してください—別途イメージは不要です。

インストール手順については、以下に従ってください Unsloth Dockerガイド.

uv

uv pip install unsloth

uv（上級者向け）

インストールの順序は重要です。バンドルされた依存関係を特定のバージョンで上書きしたいため（具体的には xformers および triton).

1. 私は次を使うのが好みです： uv よりも pip はより高速で依存関係の解決に優れており、特に torch に依存するライブラリに対して有利ですが、 CUDA 特定のバージョンがこのシナリオでは必要になる場合があります。

   インストールしてください uv

   curl -LsSf https://astral.sh/uv/install.sh | sh && source $HOME/.local/bin/env

   プロジェクトディレクトリと仮想環境を作成：

   mkdir 'unsloth-blackwell' && cd 'unsloth-blackwell'
   uv venv .venv --python=3.12 --seed
   source .venv/bin/activate

2. インストールしてください vllm

   uv pip install -U vllm --torch-backend=cu128

   注意：指定する必要があります cu128、そうしないと vllm がインストールされます torch==2.7.0 しかし cu126.

3. インストールしてください unsloth の依存関係で

   uv pip install unsloth unsloth_zoo bitsandbytes

   Xformersによる解決の問題に気づいた場合、XformersなしでソースからUnslothをインストールすることもできます：

   uv pip install -qqq \
   "unsloth_zoo[base] @ git+https://github.com/unslothai/unsloth-zoo" \
   "unsloth[base] @ git+https://github.com/unslothai/unsloth"

4. ダウンロードしてビルド xformers （オプション）

   Xformersはオプションですが、確かに高速でメモリ使用量が少なくなります。Xformersを使用したくない場合はPyTorchのネイティブなSDPAを使用します。Xformersをソースからビルドするのは遅くなる可能性があるので注意してください！

   # まず以前のライブラリによってインストールされた xformers をアンインストール
   pip uninstall xformers -y
   
   # クローンしてビルド
   pip install ninja
   export TORCH_CUDA_ARCH_LIST="12.0"
   git clone --depth=1 https://github.com/facebookresearch/xformers --recursive
   cd xformers && python setup.py install && cd ..

   明示的に設定する必要があることに注意してください： TORCH_CUDA_ARCH_LIST=12.0.

5. transformers 任意のtransformersバージョンをインストールできますが、最新を取得するのが最良です。

   uv pip install -U transformers

Condaまたはmamba（上級者向け）

1. インストールしてください conda/mamba

   curl -L -O "https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-$(uname)-$(uname -m).sh"

   インストールスクリプトを実行

   bash Miniforge3-$(uname)-$(uname -m).sh

   condaまたはmamba環境を作成

   conda create --name unsloth-blackwell python==3.12 -y

   新しく作成した環境を有効化

   conda activate unsloth-blackwell

2. インストールしてください vllm

   有効化されたconda/mamba環境の中にいることを確認してください。ターミナルのプロンプトに環境名が接頭辞として表示されるはずです（例えば） (unsloth-blackwell)user@machine:

   pip install -U vllm --extra-index-url https://download.pytorch.org/whl/cu128

   注意：指定する必要があります cu128、そうしないと vllm がインストールされます torch==2.7.0 しかし cu126.

3. インストールしてください unsloth の依存関係で

   有効化されたconda/mamba環境の中にいることを確認してください。ターミナルのプロンプトに環境名が接頭辞として表示されるはずです（例えば） (unsloth-blackwell)user@machine:

   pip install unsloth unsloth_zoo bitsandbytes

4. ダウンロードしてビルド xformers （オプション）

   Xformersはオプションですが、確かに高速でメモリ使用量が少なくなります。Xformersを使用したくない場合はPyTorchのネイティブなSDPAを使用します。Xformersをソースからビルドするのは遅くなる可能性があるので注意してください！

   ターミナルのプロンプトに環境名が接頭辞として表示されるはずです（例えば） (unsloth-blackwell)user@machine:

   # まず以前のライブラリによってインストールされた xformers をアンインストール
   pip uninstall xformers -y
   
   # クローンしてビルド
   pip install ninja
   export TORCH_CUDA_ARCH_LIST="12.0"
   git clone --depth=1 https://github.com/facebookresearch/xformers --recursive
   cd xformers && python setup.py install && cd ..

   明示的に設定する必要があることに注意してください： TORCH_CUDA_ARCH_LIST=12.0.

5. 更新 triton

   有効化されたconda/mamba環境の中にいることを確認してください。ターミナルのプロンプトに環境名が接頭辞として表示されるはずです（例えば） (unsloth-blackwell)user@machine:

   pip install -U triton>=3.3.1

   triton>=3.3.1 はサポートに必要です。 Blackwell サポート。

6. Transformers 任意のtransformersバージョンをインストールできますが、最新を取得するのが最良です。

   uv pip install -U transformers

パッケージマネージャとしてmambaを使用している場合は、上記のすべてのコマンドでcondaをmambaに置き換えてください。

WSL固有の注意点

WSL（Windows Subsystem for Linux）を使用していてxformersのコンパイル中に問題が発生した場合（補足：Xformersはオプションですがトレーニングが速くなります）、以下の追加手順に従ってください：

1. WSLのメモリ上限を増やす WSLの設定ファイルを作成または編集：

   # Windowsのユーザーディレクトリに .wslconfig を作成または編集
   # （通常は C:\Users\YourUsername\.wslconfig）
   
   # 次の行をファイルに追加
   [wsl2]
   memory=16GB  # xformersのコンパイルには最低16GBを推奨
   processors=4  # CPUコアに応じて調整
   swap=2GB
   localhostForwarding=true

   これらの変更を行った後、WSLを再起動：

   wsl --shutdown

2. xformersをインストール WSL向けに最適化されたコンパイルでxformersをインストールするには、次のコマンドを使用：

   # Blackwell GPU用のCUDAアーキテクチャを設定
   export TORCH_CUDA_ARCH_LIST="12.0"
   
   # 最適化されたビルドフラグでソースからxformersをインストール
   pip install -v --no-build-isolation -U git+https://github.com/facebookresearch/xformers.git@main#egg=xformers

   その --no-build-isolation フラグはWSL環境での潜在的なビルド問題を回避するのに役立ちます。