2025_NIPS_AgentRecBench: Benchmarking LLM Agent-based Personalized Recommender Systems

文章主要内容与创新点总结

一、主要内容

该研究针对基于大语言模型（LLM）的智能体推荐系统（agentic recommender systems）缺乏标准化评估协议的问题，提出了首个综合基准测试平台AgentRecBench。核心内容包括：

1. 交互式文本推荐模拟器：整合Yelp、GoodReads、Amazon三大数据集，构建统一的用户-评论-物品（U-R-I）网络，支持标准化查询功能，并设计动态数据可见性控制机制，适配不同评估场景的数据需求。
2. 三大典型评估场景：覆盖经典推荐（评估通用性能）、兴趣演化推荐（评估动态适配能力，含长期/短期子任务）、冷启动推荐（评估数据稀疏场景下的泛化能力，含用户侧/物品侧子任务），全面模拟真实推荐场景挑战。
3. 模块化智能体框架：提出包含动态规划、复杂推理、工具使用、记忆管理四大核心模块的开发框架，支持快速构建智能体推荐系统。
4. 多方法综合评估：对10余种方法进行系统测评，包括传统推荐算法（如矩阵分解MF）、深度学习推荐算法（如LightGCN）和8种智能体推荐系统（如BaseAgent、Baseline666等），验证了智能体方法的优越性。
5. 公开可用的基准平台：通过AgentSociety Challenge（吸引295支团队、1400余次提交）验证实用性，提供公开数据集、代码及排行榜，支持持续研究。

二、