Empirical Evaluation of Large Language Models in Automated Program Repair

文章主要内容总结

本文对四种具有代表性的开源大型语言模型（LLMs）在自动程序修复（APR）中的能力进行了全面实证评估，旨在填补现有研究在多语言泛化性、成本效益权衡及影响因素分析上的空白。

研究选取了CodeLlama、LLaMA、StarCoder和DeepSeek-Coder四种模型（涵盖7B至33B参数规模，包括通用模型和代码专用模型），在两种bug场景（企业级项目bug和算法作业bug）、三种编程语言（Java、C/C++、Python）及四种提示工程策略下，对六个基准数据集生成并分析了超过600,000个补丁。

核心发现包括：

1. 微调的代码专用模型（如CodeLlama）虽参数较少，但修复性能优于同规模通用模型（如LLaMA）；
2. 修复效果不随模型规模线性增长，小模型可能生成大模型未覆盖的正确补丁；
3. 正确补丁多在生成早期出现；
4. 提示设计对修复效果影响显著。

文章创新点

1. 系统性评估：首次针对四种开源LLM（涵盖通用与代码专用模型）在六个多语言、多场景数据集上的修复能力进行系统评估。
2. 深度分析：通过60多万个补丁的分析，揭示了模型架构、数据集特征、提示工程策略对修复效果的影响机制。
3. 新见解：发现小模型可生成大模型缺失的正确补丁，且正确补丁集中在生成早期，为平衡计算成本与修复性能提供了实践指导。
4. 提示策略评估：对