LLM-GUARD: Large Language Model-Based Detection and Repair of Bugs and Security Vulnerabilities i...

LLM-GUARD研究总结与核心内容翻译

一、文章主要内容总结

本文围绕大型语言模型（LLMs）在代码缺陷与安全漏洞检测修复中的效能展开系统性实证研究，核心内容可分为以下5个维度：

1. 研究背景与目标

• 背景：LLMs（如ChatGPT-4、Claude 3、LLaMA 4）已广泛应用于软件开发（代码生成、调试等），但在检测多样化软件缺陷（尤其是复杂安全漏洞）的实际效果尚未被充分探索；未检测的缺陷可能导致功能故障、安全 breach 及高额维护成本。
• 目标：评估ChatGPT-4、Claude 3、LLaMA 4这三款主流LLMs，在检测C++和Python代码中基础错误、经典安全漏洞及生产级复杂缺陷的能力，明确其优势与局限性。

2. 研究方法与数据集

（1）数据集设计

采用分层数据集，覆盖3类核心缺陷，且均通过本地编译与测试验证真实性：

• 简单缺陷（C++/Python）：含未初始化变量、参数传递错误、内存管理不当等基础问题，模拟高校编程入门课程常见错误。
• C++安全漏洞：源自SEED Labs，包括竞态条件、格式字符串漏洞、缓冲区溢出、不安全内存访问等经典安全风险场景。
• 生产级复杂缺陷