Improving LLM Reasoning for Vulnerability Detection via Group Relative Policy Optimization

文章主要内容总结

本文聚焦于利用强化学习（RL）技术改进大型语言模型（LLMs）在软件漏洞检测中的推理能力，具体研究了组相对策略优化（Group Relative Policy Optimization, GRPO） 在该任务中的应用。主要内容包括：

1. 研究背景与问题：现有LLMs在漏洞检测中存在局限性，如过度预测某些漏洞类型、泛化能力弱、推理过程难以解释，且小型LLMs因计算成本低受关注但性能受限。
2. 研究方法：
   • 设计了适用于漏洞检测的GRPO框架，通过重新定义优势函数和奖励信号，结合BigVul、DiverseVul、CleanVul等数据集的标注信息。
   • 提出模块化奖励函数，从格式化（Formatting）、正确性（Correctness）、推理质量（Reasoning） 三个维度评估模型输出，并通过动态权重机制避免“奖励欺骗（reward hacking）”。
3. 实验验证：在LLaMA 8B、LLaMA 3B、Qwen 2.5 3B等小型模型上进行实验，对比零样本提示、监督微调（SFT）与GRPO的性能。结果显示，GRPO在准确率、泛化能力（跨数据集和编程语言）及推理质量上均优于基线方法。

创新点

1. 扩展对小型LLMs的分析</