💡强化学习 (RL) 指南
了解有关强化学习 (RL) 的所有内容，以及如何使用 Unsloth 和 GRPO 训练您自己的 DeepSeek-R1 推理模型。从初学者到高级的完整指南。
强化学习是指一个“代理”通过与环境交互并接收反馈来学习做出决策， 反馈 以 奖励 或 惩罚.
行动： 模型生成的内容（例如一句话）。
奖励： 指示模型行动好坏的信号（例如：回答是否遵循指令？是否有帮助？）。
环境： 模型正在处理的场景或任务（例如回答用户的问题）。
🦥你将学习到的内容
什么是 RL？RLVR？PPO？GRPO？RLHF？RFT？是 “运气就是你所需要的一切？” 用于强化学习吗？
什么是环境？代理？动作？奖励函数？奖励？
本文涵盖了关于 GRPO、强化学习 (RL) 和奖励函数的所有你需要知道的内容（从入门到高级），以及提示和使用 GRPO 的基础，配合 Unsloth. 如果你在寻找使用 GRPO 的逐步教程，请参阅我们的指南 llama-parallel.
❓什么是强化学习 (RL)？
强化学习的目标是：
增加看到 “好的” 结果的概率。
减少看到 “不好的” 结果的概率。
那就是全部！ 关于“好”和“坏”意味着什么，或者我们如何去“增加”或“减少”它，或者“结果”到底是什么意思，存在一些细微差别。
例如，在 吃豆人游戏:
该 环境 就是游戏世界。
该 你可以采取的动作 是向上、向左、向右和向下。
该 奖励 如果你吃到一个饼干就是好的，或者如果你撞到一个弯曲的敌人就是不好的。
在强化学习中，你无法知道你能采取的“最佳动作”，但你可以观察中间步骤或最终的游戏状态（赢或输）
另一个例子是想象你被问到这个问题： “2 + 2 等于多少？” （4）一个未对齐的语言模型会吐出 3、4、C、D、-10，几乎任何东西。
数字比 C 或 D 更好，对吧？
得到 3 比比如 8 更好，对吧？
得到 4 肯定是正确的。
我们刚刚设计了一个 奖励函数!
🏃从 RLHF、PPO 到 GRPO 和 RLVR
OpenAI 推广了一个概念， RLHF （来自人类反馈的强化学习），我们在其中训练一个 “代理” 去对一个问题（即 状态) 产生被人类评为更有用的输出。
例如 ChatGPT 中的点赞和点踩可以在 RLHF 过程中使用。
clip(..., 1-e, 1+e) 项用于强制 PPO 不做过大的改变。还有一个 beta 设置为 > 0 的 KL 项以强制模型不要偏离太多。
DeepSeek 开发了 GRPO （群体相对策略优化）用于训练他们的 R1 推理模型。与 PPO 的关键区别有：
该 价值模型被移除， 用多次调用奖励模型得到的统计数据替代。
该 奖励模型被移除 并仅用自定义奖励函数替代， 可以用于 RLVR。
这意味着 GRPO 极其高效。此前 PPO 需要训练多个模型——现在移除奖励模型和价值模型后，我们可以节省内存并加速一切。
RLVR（具有可验证奖励的强化学习） 允许我们基于易于验证解答的任务来奖励模型。例如：
数学方程可以很容易地验证。例如 2+2 = 4。
代码输出可以验证是否正确执行。
设计可验证的奖励函数可能很困难，因此大多数示例是数学或代码。
GRPO 的用例不仅限于代码或数学——其推理过程可以增强诸如电子邮件自动化、数据库检索、法律和医学等任务，根据你的数据集和奖励函数大幅提高准确性——关键是定义一个 评分标准——即一系列较小的可验证奖励，而不是一个最终的、吞噬一切的单一奖励。 OpenAI 在他们的 强化学习微调（RFT） 产品中推广了这一点，例如。
为什么叫“群体相对”？
GRPO 完全移除了价值模型，但我们仍然需要估计 “平均奖励” 在给定当前状态下。
该 技巧是对 LLM 进行抽样！然后我们通过对多个不同问题的抽样过程的统计来计算平均奖励。
例如对于“2+2 等于多少？”我们抽样 4 次。我们可能得到 4、3、D、C。然后我们计算这些答案的每个奖励，再计算 平均奖励 和 标准差, 然后 进行 Z 分数标准化 这个！
这会创建 优势 A, 我们将用它来替代价值模型。这节省了大量内存！
🤞运气（其实是耐心）就是你所需要的一切
强化学习的诀窍是你只需要两样东西：
一个问题或指令，例如 “2+2 等于多少？”、“用 Python 创建一个 Flappy Bird 游戏”
一个奖励函数和验证器来验证输出是好还是坏。
仅凭这两样，我们基本上可以 无限次调用一个语言模型， 直到我们得到一个好答案。例如对于“2+2 等于多少？”，一个未训练的糟糕语言模型会输出：
0、cat、-10、1928、3、A、B、122、17、182、172、A、C、BAHS、%$、#、9、-192、12.31**** 然后突然出现 4.
奖励信号是 0、0、0、0、0、0、0、0、0、0、0、0、0、0、0**** 然后突然变为 1。
因此通过运气和偶然，强化学习在多次 回合中找到了正确答案。我们的目标是希望更多地看到正确答案 4，而其余（错误答案）明显减少。
因此强化学习的目标是要有耐心——在极限情况下，如果正确答案的概率至少是一个小于但非零的数，那这就是一个等待的游戏——在极限情况下你肯定会遇到正确答案。
所以我喜欢称其为强化学习的“运气就是你所需要的一切”。
更好的表述是强化学习的“耐心就是你所需要的一切”。
强化学习本质上给了我们一个技巧——我们不只是简单地等待无穷，我们会得到“坏信号”，即错误答案，并且我们可以实质上“引导”模型尽量不要生成错误的解答。这意味着尽管你为一个“好”答案等待了很久，模型已经被改变以尽力不输出错误答案。
在“2+2 等于多少？”的例子中—— 0、cat、-10、1928、3、A、B、122、17、182、172、A、C、BAHS、%$、#、9、-192、12.31**** 然后突然出现 4.
既然我们得到了错误答案，强化学习会影响模型尽量不输出错误答案。这意味着随着时间推移，我们在小心地“修剪”或将模型的输出分布从错误答案方向移开。这意味着强化学习是 高效的, 因为我们不是仅仅等待无穷，而是积极地尝试将模型尽可能推动到“正确答案空间”。
如果概率始终为 0，那么强化学习永远不会起作用. 这也是为什么人们喜欢从一个已经经过指令微调的模型进行强化学习，该模型能在一定程度上合理地遵循指令——这最可能将概率提升到大于 0。
🦥Unsloth 为强化学习提供的内容
借助 15GB 显存，Unsloth 允许你将任何多达 17B 参数的模型（如 Llama 3.1（8B）、Phi-4（14B）、Mistral（7B）或 Qwen2.5（7B））转换为推理模型
Unsloth 现在支持 视觉/多模态的强化学习 模型！
最低要求： 仅需 5GB 显存就足以在本地训练你自己的推理模型（针对任何 1.5B 参数或更小的模型）
对于 高级 GRPO 有关批处理、生成和训练参数的文档， 请阅读我们的指南！
GRPO 笔记本：
新增！ 我们现在支持 GSPO 以及大多数其他新的 GRPO 技术。你可以在 GRPOConfig 中通过以下参数来启用：
如果你没有得到任何推理输出，请确保你有足够的训练步骤并确认你的 奖励函数/验证器 正在工作。我们提供奖励函数示例 llama-parallel.
之前的演示表明你可以使用 Qwen2.5（3B）获得自己的“恍然大悟”时刻——但那需要两块 A100 GPU（160GB 显存）。现在，使用 Unsloth，你仅需一块 5GB 显存的 GPU 就能实现相同的“恍然大悟”时刻。
此前，GRPO 仅支持完全微调，但我们已使其可与 QLoRA 和 LoRA 一起使用
在 20K 上下文长度 例如在每个提示生成 8 个结果的情况下，Unsloth 对于 Llama 3.1（8B）仅使用 54.3GB 显存，而标准实现（+ Flash Attention 2）则需要 510.8GB（Unsloth 少 90%）.
请注意，这并不是对 DeepSeek 的 R1 蒸馏模型进行微调或使用来自 R1 的蒸馏数据进行调优（Unsloth 已经支持这些）。这是使用 GRPO 将一个标准模型转换为一个完整的推理模型。
在一个测试示例中，即使我们仅使用 GRPO 对 Phi-4 训练了 100 步，结果也已经很清楚。未使用 GRPO 的模型没有思考标记，而使用 GRPO 训练的模型则有，并且也给出了正确答案。
💻使用 GRPO 进行训练
关于如何使用 Unsloth 与 GRPO 将任何开源 LLM 转换为推理模型的教程， 请参见此处.
对于 高级 GRPO 有关批处理、生成和训练参数的文档， 请阅读我们的指南！
GRPO 如何训练一个模型
对于每个问答对，模型会生成多个可能的回答（例如，8 个变体）。
每个回答都使用奖励函数进行评估。
训练步骤：
如果你有 300 行数据，那就是 300 个训练步骤（或训练 3 个 epoch 则为 900 步）。
你可以增加每个问题生成的回答数量（例如，从 8 增加到 16）。
模型通过在每一步更新其权重来学习。
如果您的 GRPO 模型没有学到东西，我们强烈建议使用我们的 高级 GRPO 笔记本 因为它具有更好的奖励函数，您应该会更快更频繁地看到结果。
基础/提示
至少等待 300 步 奖励实际增加。为了获得不错的结果，你可能需要投入至少 12 小时（这就是 GRPO 的工作方式），但请记住这并非强制，你可以随时停止。
为了获得最佳结果，至少应有 500 行数据. 你可以尝试使用甚至 10 行数据，但拥有更多数据会更好。
每次训练运行都会根据你的模型、数据、奖励函数/验证器等有所不同，因此虽然我们写了 300 步作为最低值，有时可能需要 1000 步或更多。因此，这取决于各种因素。
如果你在本地使用 Unsloth 的 GRPO，请在遇到错误时也“pip install diffusers”。同时请使用最新版本的 vLLM。
建议将 GRPO 应用于至少具有 1.5B 参数 的模型以正确生成思考标记，因为更小的模型可能无法做到。
关于 GRPO 的 GPU 显存需求 对于 QLoRA 4-bit，一般规则是模型参数大小 = 你将需要的显存量（你可以使用更少的显存，但这是为了安全）。设置的上下文长度越大，显存需求越高。LoRA 16-bit 最少会使用 4 倍以上的显存。
持续微调是 可行的，你可以让 GRPO 在后台一直运行。
在示例笔记本中，我们使用了 GSM8K 数据集，这是目前最流行的 R1 风格训练选择。
如果你使用的是基础模型，请确保你有一个聊天模板。
你用 GRPO 训练得越多越好。GRPO 最棒的部分是你甚至不需要那么多数据。你所需要的是一个优秀的奖励函数/验证器，训练时间越长，你的模型就会越好。预计你的奖励随步骤增长像这样上升：
GRPO 的训练损失跟踪现在直接内置于 Unsloth 中，消除了对 wandb 等外部工具的需求。它现在包含所有奖励函数的完整日志细节，包括总聚合的奖励函数本身。
📋奖励函数 / 验证器
在强化学习中， 奖励函数 和一个 验证器 在评估模型输出时扮演不同角色。一般而言，你可以将它们视为相同的东西，但从技术上讲它们并不相同，不过这通常并不重要，因为它们通常结合使用。
验证器:
确定生成的回答是正确还是错误。
它不分配数值分数——它只是验证正确性。
示例：如果模型对于“2+2”生成“5”，验证器会检查并标记为“错误”（因为正确答案是4）。
验证器还可以执行代码（例如 Python）来验证逻辑、语法和正确性，而无需人工评估。
奖励函数:
将验证结果（或其他标准）转换为数值分数。
示例：如果答案错误，它可能会赋予惩罚（-1、-2 等），而正确答案则可能获得正分（+1、+2）。
它还可以基于超出正确性的标准进行惩罚，例如过长或可读性差等。
主要区别:
A 验证器 检查正确性但不进行评分。
A 奖励函数 分配分数但不一定自行验证正确性。
一个奖励函数 可以 使用验证器，但从技术上讲它们并不相同。
理解奖励函数
GRPO 的主要目标是最大化奖励并学习答案是如何得出的，而不是简单地记忆并复现训练数据中的回答。
在每一步训练中，GRPO 调整模型权重 以最大化奖励。这个过程会逐步微调模型。
常规微调 （不使用 GRPO）仅仅 最大化下一词预测的概率 但并不针对奖励进行优化。GRPO 针对奖励函数进行优化 而不仅仅是预测下一个词。
你可以 重用数据 跨多个 epoch（训练轮次）。
默认奖励函数 可以预定义用于各种用例，或者你可以让 ChatGPT/本地模型为你生成它们。
设计奖励函数或验证器没有唯一正确的方法——可能性是无穷的。然而，它们必须设计良好且有意义，因为设计不当的奖励可能会无意中降低模型性能。
🪙奖励函数示例
你可以参考下面的示例。你可以将生成结果输入到像 ChatGPT 4o 或 Llama 3.1 (8B) 这样的 LLM，并为其设计奖励函数和验证器来评估它。例如，将你的生成结果输入到你选择的 LLM 并设置一条规则：“如果答案听起来过于机械化，扣 3 分。”这有助于根据质量标准改进输出。
示例 #1：简单算术任务
问题：
"2 + 2"答案：
"4"奖励函数 1：
如果检测到数字 → +1
如果未检测到数字 → -1
奖励函数 2：
如果数字与正确答案匹配 → +3
如果不正确 → -3
总奖励： 所有奖励函数的总和
示例 #2：电子邮件自动化任务
问题： 来信
答案： 发信
奖励函数：
如果答案包含所需关键字 → +1
如果答案完全匹配理想回复 → +1
如果回复过长 → -1
如果包含收件人姓名 → +1
如果存在签名块（电话、电子邮件、地址）→ +1
Unsloth 基于接近度的奖励函数
如果你查看我们的 高级 GRPO Colab 笔记本，你会注意到我们创建了一个 自定义的基于接近度的奖励函数 从头构建，旨在奖励更接近正确答案的回答。这个灵活的函数可应用于各种任务。
在我们的示例中，我们启用了 Qwen3 (Base) 的推理并引导其执行特定任务
应用预微调策略以避免 GRPO 默认只学习格式化的倾向
通过基于正则表达式的匹配提高评估准确性
创建自定义 GRPO 模板，超越诸如通用提示这样的泛用模板
think，例如，<start_working_out></end_working_out>应用基于接近度的评分——对于更接近的答案模型获得更多奖励（例如预测 9 比 10 更接近比 3 更好），而异常值会受到惩罚
GSM8K 奖励函数
在我们的其他示例中，我们使用了由 @willccbb 提供的现有 GSM8K 奖励函数，
它很受欢迎并被证明相当有效： correctness_reward_func
– 奖励与标签完全匹配的答案。 int_reward_func
– 鼓励仅使用整数的答案。 soft_format_reward_func
– 检查结构但允许轻微的换行不匹配。 strict_format_reward_func
– 确保响应结构与提示匹配，包括换行。 xmlcount_reward_func
🧮– 确保响应中每个 XML 标签恰好出现一次。
使用 vLLM 你现在可以在微调流程中直接使用 vLLM
✅model.fast_generate(["Hello!"])
GRPO 要求指南 当你使用 Unsloth 进行 GRPO 时，通过使用多种技巧，我们相较于使用 Flash Attention 2 的标准实现聪明地减少了超过 90% 的显存使用！以 20K 上下文长度且每个提示生成 8 个样本为例，Unsloth 仅使用Llama 3.1 8B 使用 54.3GB 的显存 510.8GB（Unsloth 少 90%）.
关于 GRPO 的 ，而标准实现则需要一般规则是模型参数大小 = 你将需要的显存量（你可以使用更少的显存，但这是为了安全）。设置的上下文长度越大，显存需求越高。LoRA 16-bit 最少会使用 4 倍以上的显存。
QLoRA 4-bit 的 GPU 显存需求
我们新的用于 GRPO 的内存高效线性内核将内存使用量减少了 8 倍或更多。这节省了 68.5GB 的内存，同时借助 torch.compile 实际上速度更快！ 我们利用了我们之前发布的聪明的 Unsloth 梯度检查点
算法。它智能地将中间激活异步卸载到系统内存，同时仅慢 1%，这节省了 52GB 的内存。
标准 + FA2
训练内存成本（GB）
42GB
414GB
GRPO 内存成本（GB）
9.8GB
78.3GB
推理成本（GB）
0GB
16GB
20K 上下文长度的推理 KV 缓存（GB）
20K 上下文长度的推理 KV 缓存（GB）
2.5GB
总内存使用
54.33GB（减少 90%）
510.8GB
在典型的标准 GRPO 实现中，你需要创建两个大小为 (8, 20K) 的 logits 来计算 GRPO 损失。这需要 2 * 2 字节 * 8（生成数） * 20K（上下文长度） * 128256（词汇表大小）= 78.3GB 的显存。
Unsloth 在长上下文 GRPO 上将内存使用减少了 8 倍，因此在 20K 上下文长度下我们只需额外 9.8GB 的显存！
我们还需要以 16bit 从 KV 缓存中读取。Llama 3.1 8B 有 32 层，且 K 和 V 的大小均为 1024。因此 20K 上下文长度的内存使用 = 2 * 2 字节 * 32 层 * 20K 上下文长度 * 1024 = 每批 2.5GB。我们会将 vLLM 的批量大小设为 8，但为节省显存我们在计算中将其设为 1。否则你将需要 20GB 的 KV 缓存。
🎓🎥 Unsloth RL 三小时工作坊视频
https://rlhfbook.com/c/11-policy-gradients.html Yannic Kilcher 的 GRPO Youtube 视频也是必看！
https://www.youtube.com/watch?v=bAWV_yrqx4w 我们在 2025 年 AI 工程师博览会上做了一个三小时的工作坊。幻灯片和其他材料在
https://docs.unsloth.ai/ai-engineers-2025 通过 Unsloth 的高级 GRPO 笔记本。
https://docs.unsloth.ai/basics/reinforcement-learning-guide/tutorial-train-your-own-reasoning-model-with-grpo 从基础模型进行 GRPO 的笔记本： https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Qwen3_(4B)-GRPO.ipynb
或在其他推理引擎中轻松部署于轻量级环境中。
视频教程
最后更新于
这有帮助吗？