14、基于语义相似度技术聚合工业安全发现

基于语义相似度技术聚合工业安全发现

1. 引言

在现代工业软件工程中，自动化安全测试是一种常见做法。安全工具会从多个角度分析软件，以在持续集成或持续部署（CI/CD）管道中全面了解软件产品的安全状况。这些测试会输出半结构化报告，其中包含潜在的安全缺陷，即所谓的安全发现。虽然这有助于遵循现代软件开发原则、减少测试工作量，并能早期且持续地洞察产品安全情况，但也存在一定代价。

在工业开发中，为避免分析出现空白，工具之间的覆盖范围重叠很常见。再加上不同的视角可能识别出相同的发现，因此重复或几乎相同的发现不可避免。这些重复项会歪曲安全概况，给安全专业人员和开发人员的日常工作带来挑战。所以，识别和消除重复发现对于高效的软件工程至关重要。考虑到每个项目的发现总量以及新报告的生成频率，项目团队手动识别重复项并不可行。

之前，我们研究了基于语义相似度的聚类技术在识别和聚合这些重复发现方面的潜力。自然语言处理（NLP）不仅在医学、语言学和软件工程的文本聚类方面显示出了有前景的结果，还能有效地聚合安全发现。我们在工业环境中验证了这些结果。在本文中，我们将介绍之前工作的概要，并将其置于工业软件开发项目的背景中。我们通过将三种不同的聚类方法集成到三个不同的工业项目中，来研究我们的结果对工业实践的相关性，并评估其影响。

2. 背景和相关工作

本部分提供了关于安全发现、重复项的出现以及NLP技术相关研究的背景信息。

为了理解软件开发项目中重复安全发现的挑战，首先需要明确什么是安全发现。软件安全领域有多个术语来精确描述软件产品安全方面的不同缺陷，包括漏洞、安全弱点、安全缺陷或错误。我们使用“安全发现”这个术语来概括所有这些情况，避免进一步细化术语。