Are AI-Generated Fixes Secure? Analyzing LLM and Agent Patches on SWE-bench

文章主要内容总结

该研究聚焦于大型语言模型（LLMs）和智能体框架生成的代码补丁的安全性，通过分析SWE-bench数据集中20,000+真实世界GitHub问题的修复补丁，对比了独立LLM（Llama 3.3）、三种智能体框架（OpenHands、AutoCodeRover、HoneyComb）与开发者编写的补丁在安全性上的差异，并探究了导致漏洞的关键因素。

主要发现包括：

1. 独立LLM生成的补丁引入的新漏洞数量是开发者的近9倍（185 vs 20），且漏洞类型（如CWE-95、CWE-327）与开发者（如CWE-732、CWE-377）差异显著，体现出独特的风险模式。
2. 智能体框架也会生成大量漏洞，其中自主权最高的OpenHands漏洞数量远超其他框架（195 vs 3、2），过度自主可能导致对项目上下文或任务需求的误判。
3. 漏洞更易出现在以下场景：补丁涉及更多文件和代码行数、GitHub问题缺乏具体代码片段、预期行为描述或复现步骤。
4. 项目层面因素（如规模、复杂度、贡献者数量）与漏洞关联较弱，而代码和问题层面的上下文因素影响更显著。

创新点

1. 首次大规模真实场景分析：首个基于20,000+真实世界软件问题的研究，突破了以往对孤立代码片段或合成任务的局限，聚焦真实开发场景中LLM和智能