新方法 ProVer：不必逐步评估，也能解决 GRPO 的信用分配难题
来源：arxiv.org — 13 分 · by mrkn1
📋 概述
GRPO 把轨迹级的优势均匀分配给所有策略 token，无法区分关键决策与无关步骤，导致看不清哪些中间动作促成了成功。论文提出 ProVer：先让智能体裁判对比成功与失败轨迹，圈出可能决定成败的片段，再用该片段前后续写的成功率差去验证，而不是盲信裁判。在 ALFWorld、WebShop 与 SearchQA 上，ProVer 取得最强平均表现。
🔑 核心要点
- GRPO 的痛点是把轨迹级优势均匀撒给所有 token，分不清关键决策。
- ProVer 用智能体裁判对比成功与失败轨迹，先找出可能关键的一段。
- 它不直接相信裁判，而是用片段前后续写的成功率差来验证，把信用锚定在真实结果上。
- 相对 GRPO，Qwen3.5-2B 与 4B 分别取得 9.91% 与 7.12% 的相对提升。
- 优势在于额外的生成开销不大，即便没有前沿规模的裁判模型也奏效。
💡 金句
GRPO 把轨迹级的优势均匀分配给所有策略 token，无法区分关键决策与不太相关的步骤，也就看不清是哪些中间决策带来了成功。
👍 0
👎 0
← 返回 Hacker News 首页