GSPO 强化学习

在 Unsloth 中使用 GSPO（组序列策略优化）进行训练。

我们引入了 GSPO，这是一种变体 GRPO 由阿里巴巴的 Qwen 团队提出。他们注意到一个观察：当 GRPO 为每个标记采用重要性权重时，尽管优势本质上并不会随每个标记而缩放或改变。这导致了 GSPO 的创建，GSPO 将重要性分配到序列似然性上，而不是标记的单独似然性。

• 使用我们的免费 GSPO 笔记本用于： gpt-oss-20b 和 Qwen2.5-VL

通过在 Unsloth 中设置来启用 GSPO importance_sampling_level = "sequence" 在 GRPO 配置中。下面可以看到这两种算法的差异，来自 Qwen 和阿里巴巴的 GSPO 论文：

GRPO 算法，来源： Qwen

GSPO 算法，来源： Qwen

在式（1）中可以看到，优势将每一行按比例缩放到标记对数概率上，然后对该张量求和。实质上，每个标记被赋予相同的缩放，尽管该缩放是给整个序列而不是每个单独标记的。下面可以看到一个简单的示意图：

GRPO 对数概率比按行用优势缩放

式（2）表明，对数概率比在计算后对每个序列求和并取指数，只对得到的序列比值按行乘以优势。

GSPO 序列比按行用优势缩放

启用 GSPO 很简单，你只需在 GRPO 配置中设置 importance_sampling_level = "sequence" 标志。

training_args = GRPOConfig(
    output_dir = "vlm-grpo-unsloth",
    per_device_train_batch_size = 8,
    gradient_accumulation_steps = 4,
    learning_rate = 5e-6,
    adam_beta1 = 0.9,
    adam_beta2 = 0.99,
    weight_decay = 0.1,
    warmup_ratio = 0.1,
    lr_scheduler_type = "cosine",
    optim = "adamw_8bit",
    # beta = 0.00,
    epsilon = 3e-4,
    epsilon_high = 4e-4,
    num_generations = 8,    
    max_prompt_length = 1024,
    max_completion_length = 1024,
    log_completions = False,
    max_grad_norm = 0.1,
    temperature = 0.9,
    # report_to = "none", # 如果你想记录到 Weights & Biases，请设置为 "wandb"
    num_train_epochs = 2, # 用于快速测试运行，完整训练请增加
    report_to = "none"
    
    # GSPO 如下：
    importance_sampling_level = "sequence",
    
    # Dr GRPO / GAPO 等
    loss_type = "dr_grpo",
)