GSPO-Reinforcement-Learning
Trainiere mit GSPO (Group Sequence Policy Optimization) RL in Unsloth.
Wir stellen GSPO vor, eine Variante von GRPO vom Qwen-Team bei Alibaba entwickelt. Sie stellten fest, dass GRPO für jedes Token Wichtigkeitsgewichte verwendet, obwohl sich die Vorteile von Natur aus nicht mit jedem Token skalieren oder verändern. Dies führte zur Entwicklung von GSPO, das nun die Wichtigkeit auf die Sequenzwahrscheinlichkeit statt auf die einzelnen Token-Wahrscheinlichkeiten der Tokens legt.
Verwenden Sie unsere kostenlosen GSPO-Notebooks für: gpt-oss-20b und Qwen2.5-VL
Aktivieren Sie GSPO in Unsloth, indem Sie importance_sampling_level = "sequence" in der GRPO-Konfiguration festlegen. Der Unterschied zwischen diesen beiden Algorithmen ist unten zu sehen, beide aus dem GSPO-Paper von Qwen und Alibaba:


In Gleichung 1 ist zu sehen, dass die Advantages jede der Zeilen in die Token-Logprobs skalieren, bevor dieser Tensor summiert wird. Im Wesentlichen erhält jedes Token dieselbe Skalierung, obwohl diese Skalierung für die gesamte Sequenz und nicht für jedes einzelne Token vergeben wurde. Ein einfaches Diagramm dazu ist unten zu sehen:

Gleichung 2 zeigt, dass die Logprob-Verhältnisse für jede Sequenz summiert und exponentiert werden, nachdem die Logprob-Verhältnisse berechnet wurden, und erst die daraus resultierenden Sequenzverhältnisse anschließend zeilenweise mit den Advantages multipliziert werden.

GSPO zu aktivieren ist einfach; alles, was Sie tun müssen, ist den importance_sampling_level = "sequence" Schalter in der GRPO-Konfiguration zu setzen.
Zuletzt aktualisiert
War das hilfreich?

