Aller au contenu
For the complete documentation index, see llms.txt. This page is also available as Markdown.

Apprentissage par renforcement GSPO

Entraînez avec le RL GSPO (Group Sequence Policy Optimization) dans Unsloth.

Nous présentons GSPO, qui est une variante de GRPO créé par l’équipe Qwen d’Alibaba. Ils ont observé que lorsque GRPO attribue des poids d’importance à chaque jeton, alors que, intrinsèquement, les avantages ne varient ni ne changent avec chaque jeton. Cela a conduit à la création de GSPO, qui attribue désormais l’importance à la vraisemblance de la séquence plutôt qu’aux vraisemblances individuelles des jetons.

Activez GSPO dans Unsloth en définissant importance_sampling_level = "sequence" dans la configuration GRPO. La différence entre ces deux algorithmes peut être vue ci-dessous, d’après l’article sur GSPO de Qwen et Alibaba :

Algorithme GRPO, source : Qwen
Algorithme GSPO, source : Qwen

Dans l'équation 1, on voit que les avantages mettent à l'échelle chacune des lignes dans les logprobs des jetons avant que ce tenseur ne soit additionné. En substance, chaque jeton reçoit la même mise à l'échelle, même si celle-ci a été attribuée à l'ensemble de la séquence plutôt qu'à chaque jeton individuellement. Un simple schéma de cela est présenté ci-dessous :

Rapport de logprob GRPO mis à l'échelle ligne par ligne avec les avantages

L'équation 2 montre que les rapports de logprob de chaque séquence sont additionnés et exponentiés après le calcul des rapports de logprob, et que seuls les rapports de séquence obtenus sont ensuite multipliés ligne par ligne par les avantages.

Rapport de séquence GSPO mis à l'échelle ligne par ligne avec les avantages

Activer GSPO est simple, il suffit de définir le importance_sampling_level = "sequence" indicateur dans la configuration GRPO.

Mis à jour

Ce contenu vous a-t-il été utile ?