
【导语:AI研究智能体在前沿任务进展受成本制约,Meta FAIR团队及其合作者提出“AI研究偏好模型”(RPMs),能在不执行候选方案时预测哪个最值得算力投入,提升了研究效率,但也存在一定局限性。】

AI研究智能体(AIRA)能自主进行机器学习实验,但在前沿任务上,成本成了进展的瓶颈。写出候选方案只需几分钟,验证却需数小时甚至数天GPU时间,智能体提出的候选方案远超能执行的数量。因此,“如何在固定执行预算下分配算力”成为关键,Meta FAIR团队提出了RPMs模型来应对这一挑战。

研究团队发现语言模型预测绝对指标不可靠,所以RPMs不猜测方案最终分数,而是将问题转化为相对排序问题。先基于冻结的预训练语言模型构建了inference - only模型和agentic模型,再将这两类模型整合到AIRA - dojo搜索agent中。
在Agentic RPMs研究里,针对试点实验智能体分配时间预算保守问题,采用两种机制:一是夸大剩余时间预算,二是引入独立反馈模型。

在AIRS - Bench上的评估结果亮眼,两种方案分别将平均归一化得分从0.684提升至0.711和0.729,能在约15小时内达到无引导智能体24小时的水平,且执行预算不到后者的2/3,最优RPM模型还在两个任务上取得SOTA结果。

这项研究存在一定局限性。当前实验假设LLM推理成本可忽略,但实际有延迟,扣除推理延迟后归一化得分会微降;离线评估数据是离策略数据,主要结论以端到端结果为准。
研究团队仅将RPM集成范围限定在子节点创建阶段,用于最终节点选择时无显著提升,父节点选择阶段应用留待未来。而且RPM目前仅在AIRA - dojo框架等单一条件下验证,可迁移性有待后续研究。
编辑观点:Meta FAIR团队的RPMs模型为解决AI研究成本问题提供了有效途径,显著提升了研究效率。虽有局限,但指明了未来方向,有望推动AI研究智能体进一步发展。



被折叠的 条评论
为什么被折叠?



