📊Benchmarks Unsloth

Unsloth a enregistré des benchmarks sur des GPU NVIDIA.

• Pour des benchmarks plus détaillés, consultez notre Blog Llama 3.3.

• Le benchmarking d’Unsloth a également été réalisé par 🤗Hugging Face.

Si votre vitesse semble plus lente au début, c’est probablement parce que torch.compile prend généralement ~5 minutes (ou plus) pour se mettre en route et terminer la compilation. Assurez-vous de mesurer le débit après qu’il soit entièrement chargé, car sur des exécutions plus longues, Unsloth devrait être beaucoup plus rapide.

Testé sur H100 et Blackwell GPU. Nous avons testé en utilisant le jeu de données Alpaca, une taille de batch de 2, des étapes d’accumulation de gradients de 4, rank = 32, et avons appliqué QLoRA à toutes les couches linéaires (q, k, v, o, gate, up, down) :

Modèle	VRAM	🦥Vitesse d’Unsloth	🦥Réduction de la VRAM	🦥Contexte plus long	😊Hugging Face + FA2
Llama 3.3 (70B)	80 Go	2x	>75%	13x plus long	1x
Llama 3.1 (8B)	80 Go	2x	>70%	12x plus long	1x

Benchmarks de longueur de contexte

Plus vous avez de données, moins Unsloth utilise de VRAM grâce à notre gradient checkpointing algorithme + l’algorithme CCE d’Apple !

Longueur maximale du contexte de Llama 3.1 (8B)

Nous avons testé Llama 3.1 (8B) Instruct et avons effectué une QLoRA en 4 bits sur toutes les couches linéaires (Q, K, V, O, gate, up et down) avec rank = 32 et une taille de batch de 1. Nous avons rempli toutes les séquences jusqu’à une certaine longueur maximale de séquence afin de reproduire des charges de travail de fine-tuning à long contexte.

VRAM du GPU	🦥Longueur de contexte d’Unsloth	Hugging Face + FA2
8 Go	2,972	OOM
12 Go	21,848	932
16 Go	40,724	2,551
24 Go	78,475	5,789
40 Go	153,977	12,264
48 Go	191,728	15,502
80 Go	342,733	28,454

Longueur maximale du contexte de Llama 3.3 (70B)

Nous avons testé Llama 3.3 (70B) Instruct sur un A100 de 80 Go et avons effectué une QLoRA en 4 bits sur toutes les couches linéaires (Q, K, V, O, gate, up et down) avec rank = 32 et une taille de batch de 1. Nous avons rempli toutes les séquences jusqu’à une certaine longueur maximale de séquence afin de reproduire des charges de travail de fine-tuning à long contexte.

VRAM du GPU	🦥Longueur de contexte d’Unsloth	Hugging Face + FA2
48 Go	12,106	OOM
80 Go	89,389	6,916