41、自动化事件响应中的VinciDecoder与可操作网络威胁情报

自动化事件响应中的VinciDecoder与可操作网络威胁情报

1. VinciDecoder的评估与性能

1.1 数据集评估

在对不同数据集的评估中，VinciDecoder表现出色。各项评估指标显示，其生成的报告质量较高，相关得分分别超过0.68和0.74。这表明，尽管CVE报告内容复杂且写作风格多样，但VinciDecoder在生成此类报告方面表现良好。

1.2 用户研究

为了评估生成报告对人类分析师的帮助质量和实用性，进行了一项用户研究。参与者包括在一家大型电信机构工作的八名网络安全研究人员和在大学网络安全实验室工作的五名研究生。研究过程如下：
1. 向参与者展示攻击场景。
2. 为参与者提供来源图、VinciDecoder生成的报告和人工编写的报告。
3. 要求参与者评估有无VinciDecoder时的调查情况，并对提供的陈述表达同意程度，选项包括强烈同意、同意、中立、不同意和强烈不同意。
4. 将结果量化，为每个选项分配1到5的整数，5表示强烈同意，1表示强烈不同意。

背景（云 - 来源分析）	参与者百分比（%）	得分（满分5分）
A - A	15	3.83
A - L	23	4.28