2025_NIPS_Training Language Models to Generate Quality Code with Program Analysis Feedback

文章总结与翻译

一、主要内容

该研究针对大语言模型（LLMs）代码生成中存在的安全性（如SQL注入漏洞）和可维护性（如缺失类型注解）不足的问题，提出了一种名为REAL（Reinforcement rEwards from Automated program anaLysis）的强化学习框架。其核心是通过自动化程序分析反馈激励模型生成生产级质量代码，具体整合了两类自动化信号：一是检测安全或可维护性缺陷的程序分析，二是确保功能正确性的单元测试。

研究构建了三个专用数据集（SecCodePLT+、SafeSQL、APPS+），分别用于安全漏洞评估、SQL注入专项测试和可维护性评估，并设计了兼顾功能正确性与代码质量的综合评估协议。实验在不同模型规模（0.5B、3B、7B）和多个基准测试中展开，结果表明REAL在功能和质量的综合评估中持续优于现有最先进方法，且具有良好的可扩展性和泛化能力，成功弥合了快速原型设计与生产就绪代码之间的差距。

二、创新点

1. 提出REAL强化学习框架：首次将程序分析作为自动化反馈整合到强化学习中，实现无需人工干预的规模化监督，既不依赖人工标注数据，也摆脱了脆弱的启发式规则。
2. 构建三类专用数据集：SecCodePLT+增强了原有数据集的安全漏洞检测覆盖（支持17种CWE类型）；SafeSQL聚焦SQL注入漏洞；APPS+新增静态分析维度用于可维护性评估，填补了现有基准在综合质量评估上的空白。
3. 设计综合评估协议：打破了以往代码