Hackathon AMD AI Reinforcement Learning avec Unsloth

Apprenez des techniques pratiques pour l'apprentissage par renforcement pour modèles IA avec Unsloth de Daniel Han, le créateur d'Unsloth.

Vous pouvez consulter le dépôt GitHub d'Unsloth ici : https://github.com/unslothai/unsloth

Voici le lien vers nos notebooks de fine-tuning AMD :

notebooks/nb/gpt_oss_(20B)_Reinforcement_Learning_2048_Game_BF16.ipynb at main · unslothai/notebooksGitHub

https://github.com/unslothai/notebooks/blob/main/nb/gpt_oss_(20B)_Reinforcement_Learning_2048_Game_BF16.ipynb

wget 'https://raw.githubusercontent.com/unslothai/notebooks/refs/heads/main/nb/gpt_oss_(20B)_Reinforcement_Learning_2048_Game_BF16.ipynb'

Si vous souhaitez mettre à jour Unsloth / Unsloth Zoo :

uv pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/rocm7.0 --upgrade --force-reinstall

pip uninstall unsloth unsloth_zoo -y && \
    pip install git+https://github.com/unslothai/unsloth-zoo git+https://github.com/unslothai/unsloth --no-deps --force-reinstall --no-cache-dir

Pour bitsandbytes :

pip install "unsloth[amd] @ git+https://github.com/unslothai/unsloth"

Si vous voyez :

error: Failed to install: bitsandbytes-1.33.7rc0-py3-none-manylinux_2_24_x86_64.whl (bitsandbytes==1.33.7rc0 (from https://github.com/bitsandbytes-foundation/bitsandbytes/releases/download/continuous-release_main/bitsandbytes-1.33.7.preview-py3-none-manylinux_2_24_x86_64.whl)) Caused by: Wheel version does not match filename (0.49.2.dev0 != 1.33.7rc0), which indicates a malformed wheel. If this is intentional, set UV_SKIP_WHEEL_FILENAME_CHECK=1.

N'utilisez PAS UV_SKIP_WHEEL_FILENAME_CHECK, utilisez plutôt UNIQUEMENT pip install "unsloth[amd] @ git+https://github.com/unslothai/unsloth" (PAS uv) car uv détruit bitsandbytes. Peut-être ajouter une vérification dans les PR si possible pour détecter cela.

Pour les instructions d'installation AMD, vous pouvez consulter notre guide ici :

AMD