Zum Inhalt springen
For the complete documentation index, see llms.txt. This page is also available as Markdown.

GSPO-Reinforcement-Learning

Trainiere mit GSPO (Group Sequence Policy Optimization) RL in Unsloth.

Wir stellen GSPO vor, eine Variante von GRPO vom Qwen-Team bei Alibaba entwickelt. Sie stellten fest, dass GRPO für jedes Token Wichtigkeitsgewichte verwendet, obwohl sich die Vorteile von Natur aus nicht mit jedem Token skalieren oder verändern. Dies führte zur Entwicklung von GSPO, das nun die Wichtigkeit auf die Sequenzwahrscheinlichkeit statt auf die einzelnen Token-Wahrscheinlichkeiten der Tokens legt.

Aktivieren Sie GSPO in Unsloth, indem Sie importance_sampling_level = "sequence" in der GRPO-Konfiguration festlegen. Der Unterschied zwischen diesen beiden Algorithmen ist unten zu sehen, beide aus dem GSPO-Paper von Qwen und Alibaba:

GRPO-Algorithmus, Quelle: Qwen
GSPO-Algorithmus, Quelle: Qwen

In Gleichung 1 ist zu sehen, dass die Advantages jede der Zeilen in die Token-Logprobs skalieren, bevor dieser Tensor summiert wird. Im Wesentlichen erhält jedes Token dieselbe Skalierung, obwohl diese Skalierung für die gesamte Sequenz und nicht für jedes einzelne Token vergeben wurde. Ein einfaches Diagramm dazu ist unten zu sehen:

GRPO-Logprob-Verhältnis zeilenweise mit Advantages skaliert

Gleichung 2 zeigt, dass die Logprob-Verhältnisse für jede Sequenz summiert und exponentiert werden, nachdem die Logprob-Verhältnisse berechnet wurden, und erst die daraus resultierenden Sequenzverhältnisse anschließend zeilenweise mit den Advantages multipliziert werden.

GSPO-Sequenzverhältnis zeilenweise mit Advantages skaliert

GSPO zu aktivieren ist einfach; alles, was Sie tun müssen, ist den importance_sampling_level = "sequence" Schalter in der GRPO-Konfiguration zu setzen.

Zuletzt aktualisiert

War das hilfreich?