WEB-SHEPHERD: Advancing PRMs for Reinforcing Web Agents

文章主要内容总结

本文聚焦于网络导航领域的过程奖励模型（PRM）研究，提出了首个专为评估网络代理轨迹设计的模型WEB-SHEPHERD，并构建了配套的训练数据集WEBPRM COLLECTION和评估基准WEBREWARDBENCH。核心内容包括：

1. 问题背景：现有网络代理依赖多模态大语言模型（MLLM）作为奖励模型，存在速度慢、成本高、性能不足等问题，尤其在长程序列决策中表现不稳定。
2. 核心方法：
   • WEB-SHEPHERD：作为过程奖励模型，通过结构化清单（Checklist）将用户指令分解为可解释的子目标，实现对代理轨迹的步骤级评估。
   • WEBPRM COLLECTION：包含4万个步骤级偏好对和注释清单，覆盖多领域、多难度任务，支持PRM训练。
   • WEBREWARDBENCH：首个评估PRM的元基准，可高效测试奖励模型的准确性，无需运行资源密集的网络代理。