🛠️Unslothの要件

こちらは、システム要件とGPU VRAM要件を含むUnslothの要件です。

Unsloth は2つの方法で使用できます: ಮೂಲಕ Unsloth Studio、Web UI、または Unsloth Core、元のコードベース版です。それぞれ要件が異なります。

Unsloth Studio の要件

  • Mac: CPUのような - チャット + データレシピ は今のところ動作します。 MLX のトレーニングはもうすぐ対応予定です。

  • CPU: Unsloth は GPU がなくても引き続き動作します、チャット + データレシピ向け。

  • トレーニング: で動作します NVIDIA: RTX 30、40、50、Blackwell、DGX Spark/Station など + Intel GPU

  • 近日対応予定: のサポート Apple MLX および AMD.

windows Windows

Unsloth Studio は WSL なしで Windows 上で直接動作します。モデルをトレーニングするには、システムが次の要件を満たしていることを確認してください:

要件

  • Windows 10 または Windows 11(64ビット)

  • ドライバーがインストールされた NVIDIA GPU

  • App Installer (含む winget): こちらarrow-up-right

  • Git: winget install --id Git.Git -e --source winget

  • Python: バージョン 3.11 以上 3.14 未満

  • 次のような Python 環境内で作業してください uv, venv、または conda/mamba

apple MacOS

Unsloth Studio は Mac デバイスで チャット GGUF モデル向けおよび データレシピ (エクスポート はもうすぐ対応予定)。 MLX のトレーニングもまもなく対応予定です!

  • macOS 12 Monterey 以降(Intel または Apple Silicon)

  • Homebrew をインストール: こちらarrow-up-right

  • Git: brew install git

  • cmake: brew install cmake

  • openssl: brew install openssl

  • Python: バージョン 3.11 以上 3.14 未満

  • 次のような Python 環境内で作業してください uv, venv、または conda/mamba

linux Linux & WSL

  • Ubuntu 20.04 以降または同等のディストリビューション(64ビット)

  • ドライバーがインストールされた NVIDIA GPU

  • CUDA ツールキット(12.4+ 推奨、blackwell では 12.8+)

  • Git: sudo apt install git

  • Python: バージョン 3.11 以上 3.14 未満

  • 次のような Python 環境内で作業してください uv, venv、または conda/mamba

microchip CPU のみ

Unsloth Studio は CPU デバイスを チャット GGUF モデル向けおよび データレシピ (エクスポート 近日対応予定)

  • Linux(NVIDIA GPU ドライバーを除く)および MacOS については、上記と同じです。

トレーニング

Unsloth Studio のトレーニングは現在 NVIDIA GPU で動作し、AMD、MLX、Intel のサポートはまもなく対応予定です。引き続き 元の Unsloth Core を使用して、AMD および Intel デバイスでトレーニングできます。 Python 3.11–3.13 が必要です。

要件
Linux / WSL
Windows

Git

通常はプリインストール済み

セットアップスクリプトによってインストール(winget)

CMake

プリインストール済み、または sudo apt install cmake

セットアップスクリプトによってインストール(winget)

C++ コンパイラ

build-essential

Visual Studio Build Tools 2022

CUDA Toolkit

任意; nvcc 自動検出

セットアップスクリプトによってインストール(ドライバーに一致)

Unsloth Core の要件

  • オペレーティングシステム: Linux と Windowsarrow-up-right

  • 2018年以降の NVIDIA GPU をサポート、以下を含む Blackwell RTX 50 および DGX Spark

  • 最小 CUDA Capability 7.0(V100、T4、Titan V、RTX 20 & 50、A100、H100、L40 など) GPU を確認してください!arrow-up-right GTX 1070、1080 は動作しますが、遅いです。

  • 公式の Unsloth Docker イメージarrow-up-right unsloth/unsloth は Docker Hub で利用できます

  • Unsloth は AMD および Intel GPU で動作します(こちらの 特定ガイドを参照してください)。Apple/Silicon/MLX は現在開発中です

  • お使いのデバイスには xformers, torch, BitsandBytes および triton のサポートが必要です。

  • torch、transformers などのバージョンが異なっていても、 pip install unsloth がそれらのライブラリの最新バージョンをすべて自動的にインストールするため、バージョン互換性を気にする必要はありません。

circle-info

Python 3.13 はサポートされています!

ファインチューニングの VRAM 要件:

Unsloth を使った LLM のファインチューニングにはどれくらいの GPU メモリが必要ですか?

circle-info

OOM になったりメモリ不足になったりするよくある原因は、バッチサイズを高く設定しすぎていることです。VRAM 使用量を減らすには、1、2、または 3 に設定してください。

コンテキスト長のベンチマークについては、 こちら.

モデルのパラメータ数とファインチューニング手法別に並べた VRAM 要件はこの表を確認してください。QLoRA は 4-bit、LoRA は 16-bit を使用します。モデルによってはさらに多くの VRAM が必要になることがあるため、これらの数値は絶対最小値であることに注意してください:

モデルのパラメータ数
QLoRA(4-bit)の VRAM
LoRA(16-bit)の VRAM

3B

3.5 GB

8 GB

7B

5 GB

19 GB

8B

6 GB

22 GB

9B

6.5 GB

24 GB

11B

7.5 GB

29 GB

14B

8.5 GB

33 GB

27B

22GB

64GB

32B

26 GB

76 GB

40B

30GB

96GB

70B

41 GB

164 GB

81B

48GB

192GB

90B

53GB

212GB

405B

237 GB

950 GB

最終更新

役に立ちましたか?