SCL-CVD: Supervised contrastive learning for code vulnerability detection via GraphCodeBERT

全文摘要

本文介绍了一种名为SCL-CVD的新方法，用于检测源代码中的漏洞。该方法使用了预训练的语言模型GraphCodeBERT，并结合了监督式对比学习和低秩适应技术，以提高检测准确性和效率。实验结果表明，相比现有方法，SCL-CVD在精度、召回率、F1分数等方面都有显著提升，并且能够减少模型训练时间。因此，SCL-CVD是一种更有效、更具成本效益的漏洞检测方法。

论文方法

方法描述

该论文提出了一种名为SCL-CVD（Supervised Contrastive Learn-ing Approach for Code Vulnerability Detection）的方法来检测代码漏洞。该方法分为三个主要模块：数据处理、代码表示学习和分类。在数据处理模块中，原始代码中的注释被删除，并将函数级别的源代码转换为抽象语法树（AST）。AST通过一个标准编译器工具转换成数据流图。在代码表示学习模块中，利用预训练的语言模型GraphCodeBERT生成代码嵌入向量，并使用监督对比学习来提高其泛化能力。最后，在分类模块中，利用多层感知机（MLP）模型计算每个样本是脆弱的概率。

方法改进

SCL-CVD方法采用了两个改进措施以提高性能并减少存储和计算成本。首先，它结合了监督对比损失和R-Drop损失，从而能够更好地识别相似和不相似的代码片段，提高了性能和GraphCodeBERT的泛化能力。其次，它使用LoRA算法减少了参数数量，降低了存储和计算成本，同时保持了GraphCodeBERT的大部分预训练参数，提高了细调效率。

解决的问题

SCL-CVD方法解决了代码漏洞检测中的问题，它可以自动地检测出代码中存在的潜在漏洞，帮助开发人员更快地发现和修复这些漏洞，提高了软件的安全性和可靠性。此外，该方法还考虑了变量之间的依赖关系，