🛠️Unsloth の要件

システム要件や GPU VRAM 要件を含む Unsloth の要件はこちらです。

システム要件

• オペレーティングシステム：Linuxおよびで動作します Windows

• 2018以降のNVIDIA GPUをサポート（以下を含む） Blackwell RTX 50 および DGX Spark

• 最小CUDA機能7.0（V100、T4、Titan V、RTX 20＆50、A100、H100、L40など） GPUを確認してください！ GTX 1070、1080は動作しますが、遅いです。

• 公式の Unsloth Dockerイメージ unsloth/unsloth はDocker Hubで利用可能です

  • Docker

• Unslothはで動作します AMD および Intel GPU（私たちのに従ってください 特定のガイド）。Apple/Silicon/MLXは開発中です

• お使いのデバイスには次のものが必要です xformers, torch, BitsandBytes および triton のサポート。

• torch、transformersなどのバージョンが異なる場合、 pip install unsloth はそれらのライブラリの最新バージョンを自動的にインストールするため、バージョン互換性を気にする必要はありません。

Python 3.13がサポートされるようになりました！

ファインチューニングのVRAM要件：

Unslothを使用したLLMのファインチューニングにどれくらいのGPUメモリが必要ですか？

OOM（メモリ不足）になる一般的な原因は、バッチサイズを大きく設定しすぎていることです。VRAMを節約するには1、2、または3に設定してください。

コンテキスト長のベンチマークは、こちらをご覧ください ここ.

モデルのパラメータとファインチューニング手法別に並べたVRAM要件はこの表を確認してください。QLoRAは4ビット、LoRAは16ビットを使用します。モデルによってはさらに多くのVRAMが必要になる場合があるため、以下の数値はあくまで最低値であることに注意してください：

モデルパラメータ	QLoRA（4ビット） VRAM	LoRA（16ビット） VRAM
3B	3.5 GB	8 GB
7B	5 GB	19 GB
8B	6 GB	22 GB
9B	6.5 GB	24 GB
11B	7.5 GB	29 GB
14B	8.5 GB	33 GB
27B	22GB	64GB
32B	26 GB	76 GB
40B	30GB	96GB
70B	41 GB	164 GB
81B	48GB	192GB
90B	53GB	212GB
405B	237 GB	950 GB