Guide : Ajustement des LLM sur GPU AMD avec Unsloth

Apprenez comment affiner des modèles de langage de grande taille (LLM) sur GPU AMD avec Unsloth.

Vous pouvez désormais affiner des LLM localement sur votre configuration AMD avec Unsloth. Unsloth prend en charge les GPU AMD Radeon RX, MI300X (192 Go) et plus encore.

Créer un nouvel environnement isolé (optionnel)

Pour ne pas casser les paquets système, vous pouvez créer un environnement pip isolé. Pensez à vérifier la version de Python que vous avez ! Il se peut que ce soit pip3, pip3.13, python3, python.3.13 etc.

apt install python3.10-venv python3.11-venv python3.12-venv python3.13-venv -y

python -m venv unsloth_env
source unsloth_env/bin/activate

Installer PyTorch

Installez la dernière version de PyTorch, TorchAO, Xformers depuis https://pytorch.org/ Vérifiez votre version de ROCM via amd-smi version puis changez https://download.pytorch.org/whl/rocm7.0 pour qu'elle corresponde.

uv pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/rocm7.0 --upgrade --force-reinstall

Nous avons aussi écrit une commande terminal unique pour extraire la bonne version de ROCM si cela aide.

ROCM_TAG="$({ command -v amd-smi >/dev/null 2>&1 && amd-smi version 2>/dev/null | awk -F'ROCm version: ' 'NF>1{split($2,a,"."); print "rocm"a[1]"."a[2]; ok=1; exit} END{exit !ok}'; } || { [ -r /opt/rocm/.info/version ] && awk -F. '{print "rocm"$1"."$2; exit}' /opt/rocm/.info/version; } || { command -v hipconfig >/dev/null 2>&1 && hipconfig --version 2>/dev/null | awk -F': *' '/HIP version/{split($2,a,"."); print "rocm"a[1]"."a[2]; ok=1; exit} END{exit !ok}'; } || { command -v dpkg-query >/dev/null 2>&1 && ver="$(dpkg-query -W -f="${Version}\n" rocm-core 2>/dev/null)" && [ -n "$ver" ] && awk -F'[.-]' '{print "rocm"$1"."$2; exit}' <<<"$ver"; } || { command -v rpm >/dev/null 2>&1 && ver="$(rpm -q --qf '%{VERSION}\n' rocm-core 2>/dev/null)" && [ -n "$ver" ] && awk -F'[.-]' '{print "rocm"$1"."$2; exit}' <<<"$ver"; })"; [ -n "$ROCM_TAG" ] && uv pip install torch torchvision torchaudio --index-url "https://download.pytorch.org/whl/$ROCM_TAG" --upgrade --force-reinstall

Installer Unsloth

Installez la branche AMD dédiée d'Unsloth :

pip install --no-deps unsloth unsloth-zoo
pip install --no-deps git+https://github.com/unslothai/unsloth-zoo.git
pip install "unsloth[amd] @ git+https://github.com/unslothai/unsloth"

Commencez le fine-tuning avec Unsloth !

Et c'est tout. Essayez quelques exemples dans nos Notebooks Unsloth page !

Vous pouvez consulter notre fine-tuning ou apprentissage par renforcement guides.

🔢 Apprentissage par renforcement sur GPU AMD

Vous pouvez utiliser notre 📒exemple gpt-oss RL auto win 2048 sur un GPU MI300X (192 Go). L'objectif est de jouer automatiquement au jeu 2048 et de le gagner avec l'apprentissage par renforcement. Le LLM (gpt-oss 20b) élabore automatiquement une stratégie pour gagner au 2048, nous attribuons une récompense élevée aux stratégies gagnantes, et des récompenses faibles aux stratégies échouant.

La récompense au fil du temps augmente après environ 300 étapes environ !

L'objectif pour l'AR est de maximiser la récompense moyenne pour gagner au jeu 2048.

Nous avons utilisé une machine AMD MI300X (192 Go) pour exécuter l'exemple RL 2048 avec Unsloth, et cela a bien fonctionné !

Vous pouvez également utiliser notre 📒notebook RL génération automatique de noyaux également avec gpt-oss pour créer automatiquement des noyaux de multiplication de matrices en Python. Le notebook propose aussi plusieurs méthodes pour contrer le hacking de récompense.

Le prompt que nous avons utilisé pour créer automatiquement ces noyaux était :

Créez une nouvelle fonction rapide de multiplication de matrices en utilisant uniquement du code Python natif.
On vous donne une liste de listes de nombres.
Sortez votre nouvelle fonction entre backticks en utilisant le format ci-dessous :
```
python
def matmul(A, B):
    return ...
```

Le processus d'AR apprend par exemple comment appliquer l'algorithme de Strassen pour accélérer la multiplication de matrices en Python.

📚Notebooks AMD Free One-click

AMD fournit des notebooks en un clic équipés de GPU MI300X gratuits avec 192 Go de VRAM via leur Dev Cloud. Entraînez des modèles de grande taille complètement gratuitement (aucune inscription ni carte de crédit requise) :