Apprentissage par renforcement GSPO
Entraînez avec le RL GSPO (Group Sequence Policy Optimization) dans Unsloth.
Nous présentons GSPO, qui est une variante de GRPO créé par l’équipe Qwen d’Alibaba. Ils ont observé que lorsque GRPO attribue des poids d’importance à chaque jeton, alors que, intrinsèquement, les avantages ne varient ni ne changent avec chaque jeton. Cela a conduit à la création de GSPO, qui attribue désormais l’importance à la vraisemblance de la séquence plutôt qu’aux vraisemblances individuelles des jetons.
Utilisez nos notebooks GSPO gratuits pour : gpt-oss-20b et Qwen2.5-VL
Activez GSPO dans Unsloth en définissant importance_sampling_level = "sequence" dans la configuration GRPO. La différence entre ces deux algorithmes peut être vue ci-dessous, d’après l’article sur GSPO de Qwen et Alibaba :


Dans l'équation 1, on voit que les avantages mettent à l'échelle chacune des lignes dans les logprobs des jetons avant que ce tenseur ne soit additionné. En substance, chaque jeton reçoit la même mise à l'échelle, même si celle-ci a été attribuée à l'ensemble de la séquence plutôt qu'à chaque jeton individuellement. Un simple schéma de cela est présenté ci-dessous :

L'équation 2 montre que les rapports de logprob de chaque séquence sont additionnés et exponentiés après le calcul des rapports de logprob, et que seuls les rapports de séquence obtenus sont ensuite multipliés ligne par ligne par les avantages.

Activer GSPO est simple, il suffit de définir le importance_sampling_level = "sequence" indicateur dans la configuration GRPO.
Mis à jour
Ce contenu vous a-t-il été utile ?

