Hackathon d'apprentissage par renforcement IA AMD avec Unsloth

​​Apprenez des techniques pratiques d'apprentissage par renforcement pour les modèles IA avec Unsloth, présentées par Daniel Han, le créateur d'Unsloth.

Vous pouvez consulter le dépôt GitHub d'Unsloth ici : https://github.com/unslothai/unsloth

Voici le lien vers nos notebooks de fine-tuning AMD :

notebooks/nb/gpt_oss_(20B)_Reinforcement_Learning_2048_Game_BF16.ipynb at main · unslothai/notebooksGitHub

https://github.com/unslothai/notebooks/blob/main/nb/gpt_oss_(20B)_Reinforcement_Learning_2048_Game_BF16.ipynb

wget 'https://raw.githubusercontent.com/unslothai/notebooks/refs/heads/main/nb/gpt_oss_(20B)_Reinforcement_Learning_2048_Game_BF16.ipynb'

Si vous souhaitez mettre à jour Unsloth / Unsloth Zoo :

uv pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/rocm7.0 --upgrade --force-reinstall

pip uninstall unsloth unsloth_zoo -y && \
    pip install git+https://github.com/unslothai/unsloth-zoo git+https://github.com/unslothai/unsloth --no-deps --force-reinstall --no-cache-dir

Pour bitsandbytes :

pip install "unsloth[amd] @ git+https://github.com/unslothai/unsloth"

Si vous voyez :

error: Failed to install: bitsandbytes-1.33.7rc0-py3-none-manylinux_2_24_x86_64.whl (bitsandbytes==1.33.7rc0 (from https://github.com/bitsandbytes-foundation/bitsandbytes/releases/download/continuous-release_main/bitsandbytes-1.33.7.preview-py3-none-manylinux_2_24_x86_64.whl)) Caused by: Wheel version does not match filename (0.49.2.dev0 != 1.33.7rc0), which indicates a malformed wheel. If this is intentional, set UV_SKIP_WHEEL_FILENAME_CHECK=1.

N'utilisez PAS UV_SKIP_WHEEL_FILENAME_CHECK, utilisez plutôt UNIQUEMENT pip install "unsloth[amd] @ git+https://github.com/unslothai/unsloth" (PAS uv) car uv détruit bitsandbytes. Peut-être ajouter une vérification dans les PR si possible pour détecter cela.

Pour les instructions d'installation AMD, vous pouvez consulter notre guide ici :

AMD