# GSPO 强化学习
我们引入了 GSPO，这是一种变体 [GRPO](https://unsloth.ai/docs/zh/kai-shi-shi-yong/reinforcement-learning-rl-guide/..#from-rlhf-ppo-to-grpo-and-rlvr) 由阿里巴巴的 Qwen 团队提出。他们注意到一个观察：当 GRPO 为每个标记采用重要性权重时，尽管优势本质上并不会随每个标记而缩放或改变。这导致了 GSPO 的创建，GSPO 将重要性分配到序列似然性上，而不是标记的单独似然性。
* 使用我们的免费 GSPO 笔记本用于： [**gpt-oss-20b**](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/gpt-oss-\(20B\)-GRPO.ipynb) 和 [**Qwen2.5-VL**](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Qwen2_5_7B_VL_GRPO.ipynb)
通过在 Unsloth 中设置来启用 GSPO `importance_sampling_level = "sequence"` 在 GRPO 配置中。下面可以看到这两种算法的差异，来自 Qwen 和阿里巴巴的 GSPO 论文：
GRPO 算法，来源： Qwen
GSPO 算法，来源： Qwen
在式（1）中可以看到，优势将每一行按比例缩放到标记对数概率上，然后对该张量求和。实质上，每个标记被赋予相同的缩放，尽管该缩放是给整个序列而不是每个单独标记的。下面可以看到一个简单的示意图：
.jpg?alt=media)
GRPO 对数概率比按行用优势缩放
式（2）表明，对数概率比在计算后对每个序列求和并取指数，只对得到的序列比值按行乘以优势。
.jpg?alt=media)
GSPO 序列比按行用优势缩放
启用 GSPO 很简单，你只需在 GRPO 配置中设置 `importance_sampling_level = "sequence"` 标志。
```python
training_args = GRPOConfig(
output_dir = "vlm-grpo-unsloth",
per_device_train_batch_size = 8,
gradient_accumulation_steps = 4,
learning_rate = 5e-6,
adam_beta1 = 0.9,
adam_beta2 = 0.99,
weight_decay = 0.1,
warmup_ratio = 0.1,
lr_scheduler_type = "cosine",
optim = "adamw_8bit",
# beta = 0.00,
epsilon = 3e-4,
epsilon_high = 4e-4,
num_generations = 8,
max_prompt_length = 1024,
max_completion_length = 1024,
log_completions = False,
max_grad_norm = 0.1,
temperature = 0.9,
# report_to = "none", # 如果你想记录到 Weights & Biases，请设置为 "wandb"
num_train_epochs = 2, # 用于快速测试运行，完整训练请增加
report_to = "none"
# GSPO 如下：
importance_sampling_level = "sequence",
# Dr GRPO / GAPO 等
loss_type = "dr_grpo",
)
```