> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/fr/modeles/gpt-oss-how-to-run-and-fine-tune.md). # gpt-oss : guide d'exécution OpenAI publie '**gpt-oss-120b'** et '**gpt-oss-20b'**, deux modèles de langage ouverts de pointe sous licence Apache 2.0. Les deux modèles de contexte 128k surpassent des modèles ouverts de taille similaire en raisonnement, utilisation d’outils et tâches agentiques. Vous pouvez désormais les exécuter et les fine-tuner localement avec Unsloth ! Exécuter gpt-oss-20bExécuter gpt-oss-120bFine-tuner gpt-oss > [**Fine-tuner**](#fine-tuning-gpt-oss-with-unsloth) **gpt-oss-20b gratuitement avec notre** [**notebook Colab**](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/gpt-oss-\(20B\)-Fine-tuning.ipynb) Entraîné avec [RL](/docs/fr/commencer/reinforcement-learning-rl-guide.md), **gpt-oss-120b** rivalise avec o4-mini et **gpt-oss-20b** rivalise avec o3-mini. Les deux excellent dans l’appel de fonctions et le raisonnement CoT, surpassant o1 et GPT-4o. Pour de meilleures performances, assurez-vous que votre mémoire totale disponible (mémoire unifiée + VRAM + RAM système) dépasse la taille du fichier de modèle quantifié que vous téléchargez. Si ce n’est pas le cas, llama.cpp peut toujours fonctionner via le déchargement sur SSD/HDD, mais l’inférence sera plus lente. #### **gpt-oss - GGUF Unsloth :** {% hint style="success" %} **Inclut les** [**corrections du template de chat**](#unsloth-fixes-for-gpt-oss)**. Pour de meilleurs résultats, utilisez nos versions mises en ligne et entraînez-vous avec Unsloth !** {% endhint %} * 20B : [gpt-oss-**20B**](https://huggingface.co/unsloth/gpt-oss-20b-GGUF) * 120B : [gpt-oss-**120B**](https://huggingface.co/unsloth/gpt-oss-120b-GGUF) ## :scroll:Corrections Unsloth pour gpt-oss {% hint style="info" %} Certaines de nos corrections ont été intégrées en amont au modèle officiel d’OpenAI sur Hugging Face. [Voir](https://huggingface.co/openai/gpt-oss-20b/discussions/94/files) {% endhint %} OpenAI a publié une bibliothèque autonome d’analyse et de tokenisation appelée [Harmony](https://github.com/openai/harmony) qui permet de tokeniser les conversations au format préféré d’OpenAI pour gpt-oss. Les moteurs d’inférence utilisent généralement à la place le template de chat jinja et non le package Harmony, et nous avons constaté certains problèmes en les comparant directement à Harmony. Si vous voyez ci-dessous, le haut correspond à la forme rendue correcte, comme avec Harmony. Le texte ci-dessous est celui rendu par le template de chat jinja actuel. Il y a pas mal de différences !
Nous avons aussi créé certaines fonctions pour vous permettre d’utiliser directement la bibliothèque Harmony d’OpenAI sans template de chat jinja si vous le souhaitez - vous pouvez simplement analyser des conversations normales comme ci-dessous : ```python messages = [ {"role" : "user", "content" : "Combien font 1+1 ?"}, {"role" : "assistant", "content" : "2"}, {"role": "user", "content": "Quelle est la température à San Francisco maintenant ? Et demain ? La date d’aujourd’hui est le 2024-09-30."}, {"role": "assistant", "content": "L’utilisateur demande : 'Quelle est la météo à San Francisco ?' Nous devons utiliser l’outil get_current_temperature.", "thinking" : ""}, {"role": "assistant", "content": "", "tool_calls": [{"name": "get_current_temperature", "arguments": '{"location": "San Francisco, California, United States", "unit": "celsius"}'}]}, {"role": "tool", "name": "get_current_temperature", "content": '{"temperature": 19.9, "location": "San Francisco, California, United States", "unit": "celsius"}'}, ] ``` Ensuite, utilisez la `encode_conversations_with_harmony` fonction d’Unsloth : ```python from unsloth_zoo import encode_conversations_with_harmony def encode_conversations_with_harmony( messages, reasoning_effort = "medium", add_generation_prompt = True, tool_calls = None, developer_instructions = None, model_identity = "Vous êtes ChatGPT, un grand modèle de langage entraîné par OpenAI.", ) ``` Le format Harmony inclut plusieurs éléments intéressants : 1. `reasoning_effort = "medium"` Vous pouvez choisir low, medium ou high, et cela modifie le budget de raisonnement de gpt-oss - en général, plus il est élevé, meilleure est la précision du modèle. 2. `developer_instructions` est comme un prompt système que vous pouvez ajouter. 3. `model_identity` vaut mieux le laisser tel quel - vous pouvez le modifier, mais nous ne sommes pas sûrs que des versions personnalisées fonctionneront. Nous relevons plusieurs problèmes avec les templates de chat jinja actuels (il existe plusieurs implémentations dans l’écosystème) : 1. Les appels de fonctions et d’outils sont rendus avec `tojson`, ce qui est bien si c’est un dictionnaire, mais si c’est une chaîne, les guillemets et d’autres **symboles sont échappés par des antislashs**. 2. Il y a quelques **lignes vides supplémentaires** dans le template jinja à certaines limites. 3. Les réflexions du modèle lors de l’appel d’outils devraient avoir le **`analysis` et non le `final` tag**. 4. D’autres templates de chat semblent ne pas utiliser `<|channel|>final` du tout - il faut l’utiliser pour le message final de l’assistant. Vous ne devriez pas l’utiliser pour les traces de réflexion ni pour les appels d’outils. Nos templates de chat pour le GGUF, nos versions BnB et BF16, ainsi que toutes les versions, sont corrigés ! Par exemple, quand on compare à la fois notre format et celui de Harmony, on n’obtient aucune différence de caractères :
### :1234: Problèmes de précision Nous avons constaté plusieurs problèmes de précision sur les Tesla T4 et les machines float16, principalement parce que le modèle a été entraîné en BF16, et donc des valeurs aberrantes et des dépassements existaient. MXFP4 n’est en fait pas pris en charge sur Ampere et les GPU plus anciens, donc Triton fournit `tl.dot_scaled` pour la multiplication matricielle MXFP4. Il convertit les matrices en BF16 en interne à la volée. Nous avons créé un [notebook d’inférence MXFP4](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/GPT_OSS_MXFP4_\(20B\)-Inference.ipynb) également sur Colab avec Tesla T4 ! {% hint style="info" %} [L’émulation logicielle](https://triton-lang.org/main/python-api/generated/triton.language.dot_scaled.html) permet de cibler des architectures matérielles sans prise en charge native des opérations de microscaling. À l’heure actuelle, dans ce cas, les lhs/rhs microscalés sont convertis en amont en `bf16` au type d’élément avant le calcul du produit scalaire, {% endhint %} Nous avons constaté que si vous utilisez float16 comme type de données autocast en précision mixte, vous obtiendrez des infinis après un certain temps. Pour contrer cela, nous avons trouvé qu’il fallait effectuer le MoE en bfloat16, puis le laisser soit en précision bfloat16 soit float32. Si les GPU plus anciens n’ont même pas la prise en charge bfloat16 (comme le T4), alors float32 est utilisé. Nous changeons aussi toutes les précisions des opérations (comme le routeur) en float32 pour les machines float16. ## 🖥️ **Exécution de gpt-oss** Voici ci-dessous des guides pour les [20B](#run-gpt-oss-20b) et [120B](#run-gpt-oss-120b) variantes du modèle. {% hint style="info" %} Toute quantification plus petite que F16, y compris 2 bits, entraîne une perte de précision minimale, car seules certaines parties (par ex. les couches d’attention) sont en bits plus faibles tandis que la plupart restent en pleine précision. C’est pourquoi les tailles sont proches du modèle F16 ; par exemple, la version 2 bits (11,5 Go) offre des performances presque identiques à celle en 16 bits complet (14 Go). Dès que llama.cpp prendra en charge une meilleure quantification pour ces modèles, nous les mettrons en ligne dès que possible. {% endhint %} La `gpt-oss` Les modèles d’OpenAI incluent une fonctionnalité qui permet aux utilisateurs d’ajuster « l’effort de raisonnement » du modèle. Cela vous donne le contrôle sur le compromis entre les performances du modèle et sa vitesse de réponse (latence), qui dépend du nombre de tokens que le modèle utilisera pour réfléchir. La `gpt-oss` Les modèles offrent trois niveaux distincts d’effort de raisonnement parmi lesquels vous pouvez choisir : * **Faible**: Optimisé pour les tâches qui nécessitent des réponses très rapides et ne demandent pas de raisonnement complexe en plusieurs étapes. * **Moyen**: Un équilibre entre performance et vitesse. * **Élevé**: Offre les meilleures performances de raisonnement pour les tâches qui le nécessitent, mais cela entraîne une latence plus élevée. ### :gear: Paramètres recommandés OpenAI recommande ces paramètres d’inférence pour les deux modèles : `temperature=1.0`, `top_p=1.0`, `top_k=0` * **Température de 1.0** * Top\_K = 0 (ou essayez 100 pour d’éventuels meilleurs résultats) * Top\_P = 1.0 * Contexte minimal recommandé : 16 384 * Fenêtre maximale de longueur de contexte : 131 072 **Template de chat :** ``` <|start|>system<|message|>Vous êtes ChatGPT, un grand modèle de langage entraîné par OpenAI.\nSeuil de connaissances : 2024-06\nDate actuelle : 2025-08-05\n\nRaisonnement : moyen\n\n# Canaux valides : analysis, commentary, final. Le canal doit être inclus pour chaque message.<|end|><|start|>user<|message|>Bonjour<|end|><|start|>assistant<|channel|>final<|message|>Bonjour !<|end|><|start|>user<|message|>Combien font 1+1 ?<|end|><|start|>assistant ``` Le jeton de fin de phrase/génération : EOS est `<|return|>` ### Exécuter gpt-oss-20B
Pour atteindre des vitesses d’inférence de plus de 6 tokens par seconde avec notre quantification dynamique 4 bits, disposez d’au moins **14 Go de mémoire unifiée** (VRAM et RAM combinées) ou **14 Go de RAM système** seulement. En règle générale, votre mémoire disponible devrait être égale ou supérieure à la taille du modèle que vous utilisez. Lien GGUF : [unsloth/gpt-oss-20b-GGUF](https://huggingface.co/unsloth/gpt-oss-20b-GGUF) **REMARQUE :** Le modèle peut fonctionner avec moins de mémoire que sa taille totale, mais cela ralentira l’inférence. La mémoire maximale n’est nécessaire que pour les vitesses les plus rapides. {% hint style="info" %} Suivez les [**bonnes pratiques ci-dessus**](#recommended-settings). Elles sont les mêmes que pour le modèle 120B. {% endhint %} Vous pouvez exécuter le modèle sur Google Colab, Docker, LM Studio ou llama.cpp pour l’instant. Voir ci-dessous : > **Vous pouvez exécuter gpt-oss-20b gratuitement avec notre** [**notebook Google Colab**](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/GPT_OSS_MXFP4_\(20B\)-Inference.ipynb) #### 🦥 Guide d'Unsloth Studio Pour ce tutoriel, nous utiliserons [Unsloth Studio](/docs/fr/nouveau/studio.md), qui est notre nouvelle interface web pour exécuter et entraîner des LLM. Avec Unsloth Studio, vous pouvez exécuter des modèles localement sur **Mac, Windows**, et Linux, et : {% columns %} {% column %} * Rechercher, télécharger, [exécuter des GGUF](/docs/fr/nouveau/studio.md#run-models-locally) et des modèles safetensor * **Comparer** modèles **côte à côte** * [**Auto-réparation** appel d'outils](/docs/fr/nouveau/studio.md#execute-code--heal-tool-calling) + **recherche web** * [**Exécution de code**](/docs/fr/nouveau/studio.md#run-models-locally) (Python, Bash) * [Inférence automatique](https://unsloth.ai/docs/desktop#feature-deep-dive) réglage des paramètres (temp, top-p, etc.) * [Entraîner des LLM](/docs/fr/nouveau/studio.md#no-code-training) 2x plus rapide avec 70 % de VRAM en moins {% endcolumn %} {% column %}
{% endcolumn %} {% endcolumns %} {% stepper %} {% step %} #### Installer Unsloth Exécutez dans votre terminal : **macOS, Linux, WSL :** ```bash curl -fsSL https://unsloth.ai/install.sh | sh ``` **Windows PowerShell :** ```bash irm https://unsloth.ai/install.ps1 | iex ``` {% endstep %} {% step %} #### Lancer Unsloth **MacOS, Linux, WSL, Windows :** ```bash unsloth studio -H 0.0.0.0 -p 8888 ```
**Puis ouvrez `http://localhost:8888` dans votre navigateur.** {% endstep %} {% step %} #### Recherchez et téléchargez gpt-oss-20b Au premier lancement, vous devrez créer un mot de passe pour sécuriser votre compte et vous reconnecter plus tard. Vous verrez ensuite un court assistant d’intégration pour choisir un modèle, un jeu de données et des paramètres de base. Vous pouvez le passer à tout moment. Puis allez dans l’onglet [Unsloth Chat](/docs/fr/nouveau/studio/chat.md) onglet et recherchez gpt-oss dans la barre de recherche, puis téléchargez le modèle et la quantification de votre choix.
{% endstep %} {% step %} #### Exécuter gpt-oss-20b Les paramètres d'inférence doivent être définis automatiquement lors de l'utilisation d'Unsloth Studio ; toutefois, vous pouvez toujours les modifier manuellement. Vous pouvez également modifier la longueur de contexte, le gabarit de conversation et d'autres paramètres. Pour plus d'informations, vous pouvez consulter notre [Guide d'inférence Unsloth Studio](/docs/fr/nouveau/studio/chat.md).
{% endstep %} {% endstepper %} #### 🐋 Docker : tutoriel pour exécuter gpt-oss-20b Si vous avez déjà Docker Desktop, il vous suffit d’exécuter la commande ci-dessous et c’est terminé : ```bash docker model run hf.co/unsloth/gpt-oss-20b-GGUF:F16 ``` #### :sparkles: Llama.cpp : tutoriel pour exécuter gpt-oss-20b 1. Obtenez la dernière version de `llama.cpp` sur [GitHub ici](https://github.com/ggml-org/llama.cpp). Vous pouvez également suivre les instructions de compilation ci-dessous. Remplacez `-DGGML_CUDA=ON` par `-DGGML_CUDA=OFF` si vous n'avez pas de GPU ou si vous voulez simplement une inférence sur CPU. **Pour les appareils Apple Mac / Metal**, définissez `-DGGML_CUDA=OFF` puis continuez comme d'habitude - la prise en charge de Metal est activée par défaut. ```bash apt-get update apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y git clone https://github.com/ggml-org/llama.cpp cmake llama.cpp -B llama.cpp/build \ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpp ``` 2. Vous pouvez effectuer un pull directement depuis Hugging Face via : ```bash ./llama.cpp/llama-cli \ -hf unsloth/gpt-oss-20b-GGUF:F16 \ --jinja -ngl 99 --ctx-size 16384 \ --temp 1.0 --top-p 1.0 --top-k 0 ``` 3. Téléchargez le modèle via (après avoir installé `pip install huggingface_hub hf_transfer` ). Si les téléchargements se bloquent, voir [Dépannage de Hugging Face Hub, XET](/docs/fr/bases/troubleshooting-and-faqs/hugging-face-hub-xet-debugging.md) ```python # !pip install huggingface_hub hf_transfer import os os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1" from huggingface_hub import snapshot_download snapshot_download( repo_id = "unsloth/gpt-oss-20b-GGUF", local_dir = "unsloth/gpt-oss-20b-GGUF", allow_patterns = ["*F16*"], ) ``` ### Exécuter gpt-oss-120b :
Pour atteindre des vitesses d’inférence de plus de 6 tokens par seconde avec notre quantification 1 bit, nous recommandons au moins **66 Go de mémoire unifiée** (VRAM et RAM combinées) ou **66 Go de RAM système** seulement. En règle générale, votre mémoire disponible devrait être égale ou supérieure à la taille du modèle que vous utilisez. Lien GGUF : [unsloth/gpt-oss-120b-GGUF](https://huggingface.co/unsloth/gpt-oss-120b-GGUF) **REMARQUE :** Le modèle peut fonctionner avec moins de mémoire que sa taille totale, mais cela ralentira l’inférence. La mémoire maximale n’est nécessaire que pour les vitesses les plus rapides. {% hint style="info" %} Suivez les [**bonnes pratiques ci-dessus**](#recommended-settings). Elles sont les mêmes que pour le modèle 20B. {% endhint %} #### 🦥 Guide d'Unsloth Studio Pour ce tutoriel, nous utiliserons [Unsloth Studio](/docs/fr/nouveau/studio.md), qui est notre nouvelle interface web pour exécuter et entraîner des LLM. Avec Unsloth Studio, vous pouvez exécuter des modèles localement sur **Mac, Windows**, et Linux, et : {% columns %} {% column %} * Rechercher, télécharger, [exécuter des GGUF](/docs/fr/nouveau/studio.md#run-models-locally) et des modèles safetensor * **Comparer** modèles **côte à côte** * [**Auto-réparation** appel d'outils](/docs/fr/nouveau/studio.md#execute-code--heal-tool-calling) + **recherche web** * [**Exécution de code**](/docs/fr/nouveau/studio.md#run-models-locally) (Python, Bash) * [Inférence automatique](https://unsloth.ai/docs/desktop#feature-deep-dive) réglage des paramètres (temp, top-p, etc.) * [Entraîner des LLM](/docs/fr/nouveau/studio.md#no-code-training) 2x plus rapide avec 70 % de VRAM en moins {% endcolumn %} {% column %}
{% endcolumn %} {% endcolumns %} {% stepper %} {% step %} #### Installer Unsloth **macOS, Linux, WSL :** ```bash curl -fsSL https://unsloth.ai/install.sh | sh ``` **Windows PowerShell :** ```bash irm https://unsloth.ai/install.ps1 | iex ``` {% endstep %} {% step %} #### Configurer Unsloth Studio (une seule fois) La configuration installe automatiquement Node.js (via nvm), compile le frontend, installe toutes les dépendances Python et compile llama.cpp avec la prise en charge de CUDA. {% hint style="info" %} **Utilisateurs de WSL :** vous serez invité à saisir votre `sudo` mot de passe pour installer les dépendances de compilation (`cmake`, `git`, `libcurl4-openssl-dev`). {% endhint %} {% endstep %} {% step %} #### Lancer Unsloth **macOS, Linux, WSL :** ```bash source unsloth_studio/bin/activate unsloth studio -H 0.0.0.0 -p 8888 ``` **Windows PowerShell :** ```bash & .\unsloth_studio\Scripts\unsloth.exe studio -H 0.0.0.0 -p 8888 ```
**Puis ouvrez `http://localhost:8888` dans votre navigateur.** {% endstep %} {% step %} #### Recherchez et téléchargez gpt-oss-120b Au premier lancement, vous devrez créer un mot de passe pour sécuriser votre compte et vous reconnecter plus tard. Vous verrez ensuite un court assistant d’intégration pour choisir un modèle, un jeu de données et des paramètres de base. Vous pouvez le passer à tout moment. Puis allez dans l’onglet [Unsloth Chat](/docs/fr/nouveau/studio/chat.md) onglet et recherchez gpt-oss dans la barre de recherche, puis téléchargez le modèle et la quantification de votre choix.
{% endstep %} {% step %} #### Exécuter gpt-oss-120b Les paramètres d'inférence doivent être définis automatiquement lors de l'utilisation d'Unsloth Studio ; toutefois, vous pouvez toujours les modifier manuellement. Vous pouvez également modifier la longueur de contexte, le gabarit de conversation et d'autres paramètres. Pour plus d'informations, vous pouvez consulter notre [Guide d'inférence Unsloth Studio](/docs/fr/nouveau/studio/chat.md).
{% endstep %} {% endstepper %} #### 📖 Llama.cpp : tutoriel pour exécuter gpt-oss-120b Pour gpt-oss-120b, nous utiliserons spécifiquement Llama.cpp pour une inférence optimisée. {% hint style="success" %} Si vous voulez une **version non quantifiée en précision complète**, utilisez nos `F16` versions ! {% endhint %} 1. Obtenez la dernière version de `llama.cpp` sur [GitHub ici](https://github.com/ggml-org/llama.cpp). Vous pouvez également suivre les instructions de compilation ci-dessous. Remplacez `-DGGML_CUDA=ON` par `-DGGML_CUDA=OFF` si vous n'avez pas de GPU ou si vous voulez simplement une inférence sur CPU. ```bash apt-get update apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y git clone https://github.com/ggml-org/llama.cpp cmake llama.cpp -B llama.cpp/build \ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpp ``` 2. Vous pouvez utiliser directement llama.cpp pour télécharger le modèle, mais je recommande normalement d’utiliser `huggingface_hub` Pour utiliser llama.cpp directement, faites : ```bash ./llama.cpp/llama-cli \ -hf unsloth/gpt-oss-120b-GGUF:F16 \ --ctx-size 16384 \\ --n-gpu-layers 99 \ -ot ".ffn_.*_exps.=CPU" \ --temp 1.0 \ --min-p 0.0 \ --top-p 1.0 \ --top-k 0 \ ``` 3. Ou téléchargez le modèle via (après avoir installé `pip install huggingface_hub hf_transfer` ). Vous pouvez choisir UD-Q2\_K\_XL, ou d’autres versions quantifiées.. ```python # !pip install huggingface_hub hf_transfer import os os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "0" # Peut parfois être soumis à une limitation de débit, alors mettez à 0 pour désactiver from huggingface_hub import snapshot_download snapshot_download( repo_id = "unsloth/gpt-oss-120b-GGUF", local_dir = "unsloth/gpt-oss-120b-GGUF", allow_patterns = ["*F16*"], ) ``` 4. Exécutez le modèle en mode conversation et essayez n’importe quel prompt. 5. Modifier `--threads -1` pour le nombre de threads CPU, `--ctx-size` 262114 pour la longueur de contexte, `--n-gpu-layers 99` pour le déchargement GPU sur le nombre de couches. Essayez de l'ajuster si votre GPU manque de mémoire. Supprimez-le également si vous n'avez qu'une inférence CPU. {% hint style="success" %} Utilisez `-ot ".ffn_.*_exps.=CPU"` pour décharger toutes les couches MoE sur le CPU ! Cela permet en pratique de faire tenir toutes les couches non MoE sur 1 GPU, améliorant les vitesses de génération. Vous pouvez personnaliser l’expression regex pour décharger davantage de couches si vous avez plus de capacité GPU. Plus d’options discutées [ici](#improving-generation-speed). {% endhint %} {% code overflow="wrap" %} ```bash ./llama.cpp/llama-cli \ --model unsloth/gpt-oss-120b-GGUF/gpt-oss-120b-F16.gguf \ --ctx-size 16384 \\ --n-gpu-layers 99 \ -ot ".ffn_.*_exps.=CPU" \ --temp 1.0 \ --min-p 0.0 \ --top-p 1.0 \ --top-k 0 \ ``` {% endcode %} ### :tools: Améliorer la vitesse de génération Si vous avez plus de VRAM, vous pouvez essayer de décharger davantage de couches MoE, ou même de décharger des couches entières. Normalement, `-ot ".ffn_.*_exps.=CPU"` décharge toutes les couches MoE sur le CPU ! Cela permet en pratique de faire tenir toutes les couches non MoE sur 1 GPU, améliorant les vitesses de génération. Vous pouvez personnaliser l’expression regex pour décharger davantage de couches si vous avez plus de capacité GPU. Si vous avez un peu plus de mémoire GPU, essayez `-ot ".ffn_(up|down)_exps.=CPU"` Cela décharge les couches MoE de projection vers le haut et vers le bas. Essayez `-ot ".ffn_(up)_exps.=CPU"` si vous avez encore plus de mémoire GPU. Cela décharge uniquement les couches MoE de projection vers le haut. Vous pouvez aussi personnaliser l’expression regex, par exemple `-ot "\.(6|7|8|9|[0-9][0-9]|[0-9][0-9][0-9])\.ffn_(gate|up|down)_exps.=CPU"` signifie décharger les couches MoE gate, up et down, mais uniquement à partir de la 6e couche. La [dernière version de llama.cpp](https://github.com/ggml-org/llama.cpp/pull/14363) introduit aussi le mode à haut débit. Utilisez `llama-parallel`. En savoir plus à ce sujet [ici](https://github.com/ggml-org/llama.cpp/tree/master/examples/parallel). Vous pouvez également **quantifier le cache KV en 4 bits** par exemple pour réduire les mouvements de VRAM / RAM, ce qui peut aussi accélérer le processus de génération. ## 🦥 Fine-tuning de gpt-oss avec Unsloth {% hint style="success" %} [**Mise à jour du 28 août**](/docs/fr/modeles/gpt-oss-how-to-run-and-fine-tune/long-context-gpt-oss-training.md#new-saving-to-gguf-vllm-after-gpt-oss-training)**:** Vous pouvez désormais exporter/enregistrer votre modèle gpt-oss fine-tuné avec QLoRA vers llama.cpp, vLLM, HF, etc. Nous avons également introduit [Unsloth Flex Attention](/docs/fr/modeles/gpt-oss-how-to-run-and-fine-tune/long-context-gpt-oss-training.md#introducing-unsloth-flex-attention-support) qui permet **>8× plus longues longueurs de contexte**, **>50 % d’utilisation de VRAM en moins** et **>1,5× d’entraînement plus rapide** par rapport à toutes les implémentations. [En savoir plus ici](/docs/fr/modeles/gpt-oss-how-to-run-and-fine-tune/long-context-gpt-oss-training.md#introducing-unsloth-flex-attention-support) {% endhint %} Le fine-tuning gpt-oss avec Unsloth est 1,5× plus rapide, utilise 70 % de VRAM en moins et prend en charge des longueurs de contexte 10× plus longues. L’entraînement QLoRA de gpt-oss-20b tient dans 14 Go de VRAM, et gpt-oss-120b fonctionne avec 65 Go de VRAM. * **Exigences QLoRA :** gpt-oss-20b = 14 Go de VRAM • gpt-oss-120b = 65 Go de VRAM. * **Exigences LoRA BF16 :** gpt-oss-20b = 44 Go de VRAM • gpt-oss-120b = 210 Go de VRAM. Lisez notre tutoriel étape par étape pour fine-tuner gpt-oss : {% content-ref url="/pages/06e24894ce66a8eb390a0591426123ca7fc631ad" %} [Tutoriel : comment fine-tuner gpt-oss](/docs/fr/modeles/gpt-oss-how-to-run-and-fine-tune/tutorial-how-to-fine-tune-gpt-oss.md) {% endcontent-ref %} {% hint style="success" %} Vous pouvez désormais exporter/enregistrer votre modèle gpt-oss fine-tuné avec QLoRA vers llama.cpp, vLLM, HF, etc. {% endhint %} Notebooks Unsloth gratuits pour fine-tuner gpt-oss : * gpt-oss-20b [Notebook de raisonnement + conversation](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/gpt-oss-\(20B\)-Fine-tuning.ipynb) ### Apprentissage par renforcement (GRPO) Unsloth prend désormais en charge le RL pour gpt-oss ! Nous avons ստեղծé deux notebooks ; pour plus de détails, lisez notre blog dédié au RL de gpt-oss : [gpt-oss RL](/docs/fr/modeles/gpt-oss-how-to-run-and-fine-tune/gpt-oss-reinforcement-learning.md) | [notebook 2048](https://colab.research.google.com/github/openai/gpt-oss/blob/main/examples/reinforcement-fine-tuning.ipynb) (exemple officiel d’OpenAI) | [Notebook de génération de kernels](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/gpt-oss-\(20B\)-GRPO.ipynb) | | ------------------------------------------------------------------------------------------------------------------------------------------------------- | ----------------------------------------------------------------------------------------------------------------------------------------- | ### 💾**NOUVEAU : enregistrement en GGUF, vLLM après l’entraînement gpt-oss** Vous pouvez désormais fine-tuner gpt-oss avec QLoRA et enregistrer, exporter ou fusionner directement le modèle vers **llama.cpp**, **vLLM**, ou **HF** — pas seulement Unsloth. Nous publierons bientôt, espérons-le, un notebook gratuit. Auparavant, tout modèle gpt-oss fine-tuné avec QLoRA était limité à l’exécution dans Unsloth. Nous avons supprimé cette limite en introduisant **la déquantification à la demande de MXFP4** des modèles de base (comme gpt-oss) pendant le processus de fusion LoRA. Cela rend possible le fait de **exporter votre modèle fine-tuné au format bf16**. Après avoir fine-tuné votre modèle gpt-oss, vous pouvez désormais le fusionner en un format 16 bits avec une **seule commande**: ```python model.save_pretrained_merged(save_directory, tokenizer) ``` Si vous préférez plutôt fusionner le modèle et le pousser directement sur le hub Hugging Face, vous pouvez le faire avec : ```python model.push_to_hub_merged(repo_name, tokenizer=tokenizer, token=hf_token) ``` ### 💡Faire fonctionner un fine-tuning efficace de gpt-oss Nous avons constaté que, bien que MXFP4 soit très efficace, il ne prend pas en charge nativement l’entraînement avec gpt-oss. Pour contourner cette limitation, nous avons implémenté des fonctions d’entraînement personnalisées spécifiquement pour les couches MXFP4 en les reproduisant via `Bitsandbytes` la quantification NF4. Nous avons utilisé directement la bibliothèque Triton Kernels d’OpenAI pour permettre l’inférence MXFP4. En revanche, pour le fine-tuning / entraînement, les kernels MXFP4 ne prennent pas encore en charge l’entraînement, puisque la passe arrière n’est pas encore implémentée. Nous travaillons activement à son implémentation dans Triton ! Il existe un indicateur appelé `W_TRANSPOSE` comme mentionné [ici](https://github.com/triton-lang/triton/blob/main/python/triton_kernels/triton_kernels/matmul_ogs_details/_matmul_ogs.py#L39), qui devrait être implémenté. La dérivée peut être calculée à partir de la transposition des matrices de poids, et nous devons donc implémenter l’opération de transposition. Si vous souhaitez entraîner gpt-oss avec une bibliothèque autre qu’Unsloth, vous devrez convertir les poids en bf16 avant l’entraînement. Cette approche, cependant, **augmente considérablement** à la fois l’utilisation de VRAM et le temps d’entraînement jusqu’à **300 % d’utilisation mémoire en plus**! **TOUTES les autres méthodes d’entraînement nécessiteront au minimum 65 Go de VRAM pour entraîner le modèle 20b, tandis qu’Unsloth n’en nécessite que 14 Go (-80 %).** Comme les deux modèles utilisent l’architecture MoE, le modèle 20B sélectionne 4 experts sur 32, tandis que le modèle 120B en sélectionne 4 sur 128 par token. Pendant l’entraînement et la publication, les poids sont stockés au format MXFP4 sous forme d’objets `nn.Parameter` et non comme des `nn.Linear` layers, ce qui complique la quantification, d’autant plus que les experts MoE/MLP représentent environ 19B des 20B paramètres. Pour permettre `BitsandBytes` la quantification et le fine-tuning économe en mémoire, nous avons converti ces paramètres en `nn.Linear` couches. Bien que cela ralentisse légèrement les opérations, cela permet un fine-tuning sur des GPU à mémoire limitée, un compromis qui en vaut la peine. ### Guide de fine-tuning des jeux de données Bien que gpt-oss ne prenne en charge que le raisonnement, vous pouvez quand même le fine-tuner avec un [jeu de données](/docs/fr/commencer/fine-tuning-llms-guide/datasets-guide.md)non axé sur le raisonnement, mais cela peut affecter sa capacité de raisonnement. Si vous souhaitez conserver ses capacités de raisonnement (facultatif), vous pouvez utiliser un mélange de réponses directes et d’exemples de chaîne de pensée. Utilisez au moins 75 % de raisonnement et 25 % sans raisonnement dans votre jeu de données pour que le modèle conserve ses capacités de raisonnement. Notre notebook conversationnel gpt-oss-20b utilise l’exemple d’OpenAI, qui est le jeu de données Multilingual-Thinking de Hugging Face. L’objectif de l’utilisation de ce jeu de données est de permettre au modèle d’apprendre et de développer des capacités de raisonnement dans ces quatre langues distinctes.
--- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter: ``` GET https://unsloth.ai/docs/fr/modeles/gpt-oss-how-to-run-and-fine-tune.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.