🛠️Unslothの要件
こちらは、システム要件とGPU VRAM要件を含むUnslothの要件です。
Unsloth は2つの方法で使用できます: ಮೂಲಕ Unsloth Studio、Web UI、または Unsloth Core、元のコードベース版です。それぞれ要件が異なります。
Unsloth Studio の要件
CPU: Unsloth は GPU がなくても引き続き動作します、チャット + データレシピ向け。
トレーニング: で動作します NVIDIA: RTX 30、40、50、Blackwell、DGX Spark/Station など + Intel GPU
近日対応予定: のサポート Apple MLX および AMD.
Windows
Unsloth Studio は WSL なしで Windows 上で直接動作します。モデルをトレーニングするには、システムが次の要件を満たしていることを確認してください:
要件
Windows 10 または Windows 11(64ビット)
ドライバーがインストールされた NVIDIA GPU
App Installer (含む
winget): こちらGit:
winget install --id Git.Git -e --source wingetPython: バージョン 3.11 以上 3.14 未満
次のような Python 環境内で作業してください uv, venv、または conda/mamba
MacOS
Unsloth Studio は Mac デバイスで チャット GGUF モデル向けおよび データレシピ (エクスポート はもうすぐ対応予定)。 MLX のトレーニングもまもなく対応予定です!
macOS 12 Monterey 以降(Intel または Apple Silicon)
Homebrew をインストール: こちら
Git:
brew install gitcmake:
brew install cmakeopenssl:
brew install opensslPython: バージョン 3.11 以上 3.14 未満
次のような Python 環境内で作業してください uv, venv、または conda/mamba
Linux & WSL
Ubuntu 20.04 以降または同等のディストリビューション(64ビット)
ドライバーがインストールされた NVIDIA GPU
CUDA ツールキット(12.4+ 推奨、blackwell では 12.8+)
Git:
sudo apt install gitPython: バージョン 3.11 以上 3.14 未満
次のような Python 環境内で作業してください uv, venv、または conda/mamba
CPU のみ
Unsloth Studio は CPU デバイスを チャット GGUF モデル向けおよび データレシピ (エクスポート 近日対応予定)
Linux(NVIDIA GPU ドライバーを除く)および MacOS については、上記と同じです。
トレーニング
Unsloth Studio のトレーニングは現在 NVIDIA GPU で動作し、AMD、MLX、Intel のサポートはまもなく対応予定です。引き続き 元の Unsloth Core を使用して、AMD および Intel デバイスでトレーニングできます。 Python 3.11–3.13 が必要です。
Git
通常はプリインストール済み
セットアップスクリプトによってインストール(winget)
CMake
プリインストール済み、または sudo apt install cmake
セットアップスクリプトによってインストール(winget)
C++ コンパイラ
build-essential
Visual Studio Build Tools 2022
CUDA Toolkit
任意; nvcc 自動検出
セットアップスクリプトによってインストール(ドライバーに一致)
Unsloth Core の要件
オペレーティングシステム: Linux と Windows
2018年以降の NVIDIA GPU をサポート、以下を含む Blackwell RTX 50 および DGX Spark
最小 CUDA Capability 7.0(V100、T4、Titan V、RTX 20 & 50、A100、H100、L40 など) GPU を確認してください! GTX 1070、1080 は動作しますが、遅いです。
公式の Unsloth Docker イメージ
unsloth/unslothは Docker Hub で利用できますお使いのデバイスには
xformers,torch,BitsandBytesおよびtritonのサポートが必要です。torch、transformers などのバージョンが異なっていても、
pip install unslothがそれらのライブラリの最新バージョンをすべて自動的にインストールするため、バージョン互換性を気にする必要はありません。
Python 3.13 はサポートされています!
ファインチューニングの VRAM 要件:
Unsloth を使った LLM のファインチューニングにはどれくらいの GPU メモリが必要ですか?
OOM になったりメモリ不足になったりするよくある原因は、バッチサイズを高く設定しすぎていることです。VRAM 使用量を減らすには、1、2、または 3 に設定してください。
コンテキスト長のベンチマークについては、 こちら.
モデルのパラメータ数とファインチューニング手法別に並べた VRAM 要件はこの表を確認してください。QLoRA は 4-bit、LoRA は 16-bit を使用します。モデルによってはさらに多くの VRAM が必要になることがあるため、これらの数値は絶対最小値であることに注意してください:
3B
3.5 GB
8 GB
7B
5 GB
19 GB
8B
6 GB
22 GB
9B
6.5 GB
24 GB
11B
7.5 GB
29 GB
14B
8.5 GB
33 GB
27B
22GB
64GB
32B
26 GB
76 GB
40B
30GB
96GB
70B
41 GB
164 GB
81B
48GB
192GB
90B
53GB
212GB
405B
237 GB
950 GB
最終更新
役に立ちましたか?

