ABC-Bench: Benchmarking Agentic Backend Coding in Real-World Development

论文总结与翻译

一、主要内容总结

这篇论文提出了ABC-Bench，一个用于评估大语言模型智能体在真实后端开发全生命周期任务中能力的基准测试集。

1. 现有问题
   • 现有代码基准测试多聚焦静态代码逻辑，忽略真实后端开发所需的环境配置、容器部署和端到端测试等动态全流程环节。
   • 现有基准测试无法覆盖从代码修改到服务上线的完整链路，与实际生产场景脱节。
2. ABC-Bench 构建
   • 基于 ABC-Pipeline 自动化流程，从2000个开源仓库中筛选出224个任务，覆盖8种编程语言和19个后端框架。
   • 任务要求智能体完成仓库探索、代码修改、环境配置、Docker构建、服务部署和端到端API测试的全流程工作。
3. 实验结果
   • 即使是最先进的模型（如Claude Sonnet 4.5），整体通过率也仅为63.2%，多数模型表现差距显著。
   • 环境配置和部署是核心瓶颈，同时模型在多语言适配（尤其是Rust这类复杂语言）上能力不足。
   <