E2Edev: Benchmarking Large Language Models in End-to-End Software Development Task

论文核心总结与翻译

一、主要内容

本文聚焦端到端软件开发（E2ESD）领域，针对现有基准测试存在需求规格粗粒度、评估协议不可靠的问题，提出了基于行为驱动开发（BDD）的E2EDev基准测试框架。该框架通过人类在环多智能体标注框架（HITL-MAA）构建，包含46个真实Web应用项目、244条细粒度用户需求和703个BDD测试场景，配套自动化测试流水线。实验评估了多种LLM骨干模型和E2ESD框架，发现现有方法在项目级开发任务中表现有限（最高Req.Acc不足60%），多智能体框架常存在交互冗余和成本过高问题，核心瓶颈在于细粒度功能实现精度不足。

二、创新点

1. 提出细粒度BDD驱动基准：以用户视角设计需求和测试场景，通过Gherkin语法和Python脚本实现自动化、标准化评估，解决传统基准需求模糊问题。
2. 设计HITL-MAA标注框架：结合多智能体自动生成与人类关键节点校验，在保证数据质量的同时降低标注成本，实现100%可执行测试用例。
3. 多维度评估体系：同时衡量代码有效性（Req.Acc、Test.Acc、Balanced Score）和生成效率（成本、碳足迹、耗时），全面反映E2ESD框架性能。
4. 深入错误分析：识别出代码不一致、需求缺失、需求错位、细节不匹配四类核心问题，为后续框架优化提供明确方向。

---

三、关键部分翻译（Markdown格式）

Abstract