跳转到内容
For the complete documentation index, see llms.txt. This page is also available as Markdown.

👾使用 RL 训练 AI Agent

了解如何使用强化学习(RL)训练用于现实任务的 AI Agent。

“Agentic” AI 正在变得越来越流行。在这个语境中,“agent” 指的是一个被赋予高级目标和一组工具来实现该目标的 LLM。Agent 通常也是“多轮”的——它们可以执行一个动作,查看它对环境产生了什么影响,然后反复执行另一个动作,直到达成目标或尝试失败。

不幸的是,即使是能力很强的 LLM,也很难可靠地执行复杂的多轮 agentic 任务。有趣的是,我们发现使用一种名为 GRPO(Group Relative Policy Optimization,组相对策略优化) 可以让它们可靠得多!在本指南中,你将学习如何使用开源工具构建可靠的 AI agent。

🎨 使用 ART 训练 RL Agent

ART(Agent Reinforcement Trainer) 构建于 UnslothUnsloth 的 GRPOTrainer 是一个让多轮 agent 训练变得可能且简单的工具。如果你已经在用 Unsloth 进行 GRPO,并且需要训练能够处理复杂多轮交互的 agent,ART 会简化这一过程。

使用 Unsloth+ART 训练的 agent 模型,往往能在 agentic 工作流上胜过通过提示词驱动的模型。

ART + Unsloth

ART 基于 Unsloth 内存和算力高效的 GRPO 实现之上构建。此外,它还增加了以下能力:

1. 多轮 Agent 训练

ART 引入了“轨迹(trajectory)”这一概念,它会随着 agent 的执行而累积。随后,这些轨迹可以被打分并用于 GRPO。轨迹可以很复杂,甚至包含非线性历史、子 agent 调用等。它们还支持工具调用和响应。

2. 灵活集成到现有代码库中

如果你已经有一个与提示词模型配合工作的 agent,ART 会尽量减少你需要做出的修改,以便包装你现有的 agent 循环并将其用于训练。

从架构上看,ART 被拆分为一个位于你代码库中的“前端”客户端,它通过 API 与一个“后端”通信,实际训练就在后端进行(如果你更喜欢使用 ART 的 LocalBackend)。这带来了一些关键优势:

  • 所需设置最少:ART 前端依赖极少,可以轻松添加到现有的 Python 代码库中。

  • 随时随地训练:你可以在笔记本电脑上运行 ART 客户端,让 ART 服务器启动一个临时的、支持 GPU 的环境,或者在本地 GPU 上运行

  • 兼容 OpenAI 的 API:ART 后端通过一个兼容 OpenAI 的 API 提供正在训练中的模型,这与大多数现有代码库兼容。

3. RULER:零样本 Agent 奖励

ART 还提供了一个内置的通用奖励函数,称为 RULER (Relative Universal LLM-Elicited Rewards,相对通用的 LLM 诱导奖励),它可以消除对手工设计奖励函数的需求。令人惊讶的是,使用 RULER 自动奖励函数进行 RL 训练的 agent,往往能达到或超越使用人工编写奖励函数训练的 agent 的表现。这让 RL 入门更容易。

何时选择 ART

ART 可能很适合需要以下内容的项目:

  1. 多步骤 agent 能力:当你的用例涉及需要执行多个动作、使用工具或进行长时间对话的 agent 时

  2. 无需奖励设计的快速原型开发:RULER 的自动奖励评分可以将你的项目开发时间缩短 2-3 倍

  3. 与现有系统集成:当你需要以最小改动为现有的 agentic 代码库添加 RL 能力时

代码示例:ART 实战

开始使用

要将 ART 添加到基于 Unsloth 的项目中:

然后查看 示例笔记本 了解 ART 在以下任务中的实际应用:

  • 表现优于 o3 的邮件检索 agent

  • 游戏对战 agent(2048、井字棋、Codenames)

  • 复杂推理任务(Temporal Clue)

最后更新于

这有帮助吗?