
跳转到主内容
可通过 康奈尔大学官网 了解相关信息。也能 了解arXiv成为独立非营利组织的相关情况。
我们衷心感谢西蒙斯基金会、会员机构 以及所有贡献者的支持,也欢迎大家 捐赠。
计算机科学 > 软件工程
arXiv:2605.03546(计算机科学)
该论文于2026年5月5日提交。
标题:ProgramBench:语言模型能否从头重建程序?
作者包括 John Yang、Kilian Lieret、Jeffrey Ma、Parth Thakkar、Dmitrii Pedchenko、Sten Sootla、Emily McMilin、Pengcheng Yin、Rui Hou、Gabriel Synnaeve、Diyi Yang、Ofir Press。
可 查看由John Yang等12位作者撰写的论文《ProgramBench:语言模型能否从头重建程序?》的PDF版本,也有 HTML(实验版) 可供查看。
摘要显示,将想法从零开始转化为完整的软件项目,已成为语言模型的热门应用场景。如今,软件代理程序可在长时间内启动、维护和扩展代码库,且只需极少人工监督,这要求模型做出高层次的软件架构决策。然而,现有的基准测试主要衡量聚焦且有限的任务,如修复单个bug或开发单个指定功能。因此,推出了ProgramBench,用于全面衡量软件工程代理开发软件的能力。在ProgramBench中,代理仅依据一个程序及其文档,就必须设计并实现一个与参考可执行文件行为相匹配的代码库,通过代理驱动的模糊测试生成端到端的行为测试,从而在不规定实现结构的情况下进行评估。其200个任务涵盖了从简洁的命令行工具到FFmpeg、SQLite和PHP解释器等广泛使用的软件。对9个大语言模型(LM)进行评估后发现,没有一个模型能完全解决任何一个任务,表现最佳的模型也仅在3%的任务中通过了95%的测试,且这些模型倾向于采用整体式、单文件的实现方式,与人类编写的代码差异较大。
主题涉及软件工程 (cs.SE)、人工智能 (cs.AI)。引用方式为 [arXiv:2605.03546] [cs.SE],若引用此版本,可使用 [arXiv:2605.03546v1] [cs.SE],也可通过 https://doi.org/10.48550/arXiv.2605.03546 引用。
提交历史
来自John Yang B [查看邮箱],[v1] 于2026年5月5日 星期二 09:17:02 UTC(1752 KB)提交。
全文链接
可通过以下方式访问论文:
当前浏览上下文:
计算机科学 - 软件工程 (cs.SE)
可通过 [< 上一篇] 查看上一篇文章,也可通过 [下一篇 >] 查看下一篇文章。还能查看 [最新文章]、[近期文章]、[2026年5月文章]。
可切换浏览方式,如 [计算机科学 (cs)]、[人工智能 (cs.AI)]。
参考文献与引用
可通过以下途径引用:
BibTeX格式引用
加载中...
书签
可在 [BibSonomy]、[Reddit] 上添加书签。
文献工具
- 文献浏览器 切换,文献浏览器可参考 [什么是文献浏览器?]
- 关联论文 切换,关联论文可参考 [什么是关联论文?]
- Litmaps 切换,Litmaps可参考 [什么是Litmaps?]
- scite.ai 切换,scite智能引用可参考 [什么是智能引用?]
代码、数据、媒体
- alphaXiv 切换,alphaXiv可参考 [什么是alphaXiv?]
- 代码链接 切换,CatalyzeX论文代码查找器可参考 [什么是CatalyzeX?]
- DagsHub 切换,DagsHub可参考 [什么是DagsHub?]
- GotitPub 切换,Gotit.pub可参考 [什么是GotitPub?]
- Huggingface 切换,Hugging Face可参考 [什么是Huggingface?]
- ScienceCast 切换,ScienceCast可参考 [什么是ScienceCast?]
演示
- Replicate 切换,Replicate可参考 [什么是Replicate?]
- Spaces 切换,Hugging Face Spaces可参考 [什么是Spaces?]
- Spaces 切换,TXYZ.AI可参考 [什么是TXYZ.AI?]
相关论文
- 影响力图谱链接,影响力图谱可参考 [什么是影响力图谱?]
- CORE推荐器 切换,CORE推荐器可参考 [什么是CORE?],可按作者、发表期刊、机构、主题进行推荐。
关于arXivLabs
arXivLabs是一个框架,允许合作者直接在网站上开发和分享新的arXiv功能。与arXivLabs合作的个人和组织都认同并接受开放、社区、卓越和用户数据隐私的价值观,arXiv致力于这些价值观,且只与遵循这些价值观的合作伙伴合作。若有能为arXiv社区增值的项目想法,可 [了解更多关于arXivLabs的信息]。
还可了解 [本文哪些作者是认可者?],也可 [禁用MathJax](可参考 [什么是MathJax?])。
可了解 [关于]、[帮助] 相关内容。可 [联系arXiv],也可 [订阅arXiv邮件]。同时可了解 [版权]、[隐私政策]、[网络无障碍协助]、[arXiv运行状态 ] 等信息。
723



被折叠的 条评论
为什么被折叠?



