Do Neutral Prompts Produce Insecure Code?

本文是LLM系列文章，针对《Do Neutral Prompts Produce Insecure Code? FormAI-v2 Dataset: Labelling Vulnerabilities in Code Generated by Large Language Models》的翻译。

摘要

本研究对最先进的大型语言模型（LLM）进行了比较分析，分析了它们在使用中性零样本提示编写简单C程序时产生漏洞的可能性。我们解决了文献中关于这些模型在没有特定指令的情况下生成的代码的安全属性的一个重大空白。N.Tihanyi等人在PROMISE’23上介绍了FormAI数据集，其中包含112000个GPT-3.5生成的C程序，超过51.24%被确定为易受攻击。我们通过引入FormAI-v2数据集来扩展这项工作，该数据集由265000个可编译的C程序组成，这些程序使用各种LLM生成，包括谷歌的GEMINI pro、OpenAI的GPT-4和TII的1800亿参数Falcon等稳健模型，以及Meta的130亿参数CodeLLama2和其他各种紧凑模型。数据集中的每个程序都根据其源代码中检测到的漏洞进行标记，通过使用基于SMT的高效上下文有界模型检查器（ESBMC）进行形式验证。该技术通过提供反例来消除误报，并通过完成验证过程来确保排除漏报。我们的研究表明，至少63.47%的生成程序是脆弱的。模型之间的差异很小，因为它们都显示出类似的编码错误，但略有变化。我们的研究强调，虽然LLM为代码生成提供了有前景的能力，但在生产环境中部署其输出需要进行风险评估和验证。

1 引言

2 动机

3 相关工作

4 形式验证（FV）和有界模型检查（BMC）

5 方法和数据集创建

6 讨论