GSPO Reinforcement Learning

Trainiere mit GSPO (Group Sequence Policy Optimization) RL in Unsloth.

Wir führen GSPO ein, eine Variante von GRPO entwickelt vom Qwen-Team bei Alibaba. Sie bemerkten die Beobachtung, dass GRPO für jedes Token Wichtigkeitsgewichte verwendet, obwohl Vorteile von Natur aus nicht mit jedem Token skaliert oder sich verändern. Dies führte zur Entwicklung von GSPO, das nun die Wichtigkeit auf die Sequenz-Wahrscheinlichkeit statt auf die individuellen Token-Wahrscheinlichkeiten der Tokens setzt.

• Verwenden Sie unsere kostenlosen GSPO-Notebooks für: gpt-oss-20b und Qwen2.5-VL

Aktivieren Sie GSPO in Unsloth, indem Sie importance_sampling_level = "sequence" im GRPO-Konfigurationsobjekt setzen. Der Unterschied zwischen diesen beiden Algorithmen ist unten zu sehen, sowohl aus dem GSPO-Papier von Qwen und Alibaba:

GRPO-Algorithmus, Quelle: Qwen

GSPO-Algorithmus, Quelle: Qwen

In Gleichung 1 ist zu sehen, dass die Vorteile jede der Zeilen in die Token-Log-Wahrscheinlichkeiten skalieren, bevor dieser Tensor aufsummiert wird. Im Wesentlichen erhält jedes Token dieselbe Skalierung, obwohl diese Skalierung der gesamten Sequenz und nicht jedem einzelnen Token zugewiesen wurde. Ein einfaches Diagramm dazu ist unten zu sehen:

GRPO-Logprob-Verhältnis, zeilenweise mit Vorteilen skaliert

Gleichung 2 zeigt, dass die Logprob-Verhältnisse für jede Sequenz nach der Berechnung der Logprob-Verhältnisse aufsummiert und exponentiert werden, und nur die daraus resultierenden nunmehr Sequenz-Verhältnisse werden zeilenweise mit den Vorteilen multipliziert.

GSPO-Sequenzverhältnis, zeilenweise mit Vorteilen skaliert

GSPO zu aktivieren ist einfach, alles, was Sie tun müssen, ist die importance_sampling_level = "sequence" Option in der GRPO-Konfiguration zu setzen.

training_args = GRPOConfig(
    output_dir = "vlm-grpo-unsloth",
    per_device_train_batch_size = 8,
    gradient_accumulation_steps = 4,
    learning_rate = 5e-6,
    adam_beta1 = 0.9,
    adam_beta2 = 0.99,
    weight_decay = 0.1,
    warmup_ratio = 0.1,
    lr_scheduler_type = "cosine",
    optim = "adamw_8bit",
    # beta = 0.00,
    epsilon = 3e-4,
    epsilon_high = 4e-4,
    num_generations = 8,    
    max_prompt_length = 1024,
    max_completion_length = 1024,
    log_completions = False,
    max_grad_norm = 0.1,
    temperature = 0.9,
    # report_to = "none", # Setzen Sie auf "wandb", wenn Sie nach Weights & Biases protokollieren möchten
    num_train_epochs = 2, # Für einen schnellen Testlauf, für das vollständige Training erhöhen
    
    # GSPO ist unten:
    importance_sampling_level = "sequence",
    
    # Dr GRPO / GAPO usw.
    loss_type = "dr_grpo",
)