CVE-Flow：1999-2020年CVE数据分析

给大家汇报一下最近工作，主要做了这么几个事情：

1. 1999-2020年CVE数据分析。
2. 增量CVE数据的T级监控。
3. EXP预警。
4. 全局自动化。

产出及价值

• 汇总产出一份近20年来CVE原始数据集：CVE2020，且持续自动更新，具备66个属性。借助数据集，可以分析各个属性数据的外在表现，推测其内在规律，辅助安全工作。
• 经过交叉打标，产出带有EXP标记的CVE标记数据集：EXP2020，且持续自动更新。借助已有标记数据集，通过机器学习和深度学习算法训练，可以预测CVE被利用的可能性，有的放矢，提高预警时间。
• 基于以上工作，开发名为CVE-Flow的工具，实现历年来CVE数据的分析、增量CVE的T级监控、EXP预警和全局自动化功能，作为外部威胁情报，给攻防双方提供有价值的CVE数据和建议。

起源

在我写的博文中，经常会交代文章的“起源”，介绍写这篇文章的原因和其中思考的过程。这主要来源于早前在乌云看洞的时候，漏洞详情经常有果无因，只介绍了漏洞的触发点和利用方式，而最重要的如何发现这个触发点的过程却没有被提及，对于漏洞平台来说，要的是结果，而对于白帽子来说，更重要的可能是发现漏洞的过程，而这部分是缺失的，当然，这也可以理解，毕竟漏洞详情不是博文。

idea起源于目前的现状：从防的角度，做安全检测的场景和机器学习方法有一堆，但从攻的角度，机器学习的成功应用较为欠缺和有限。而从攻的角度来想，应用场景必然绕不开漏洞，那么问题也就变成了，机器学习在漏洞方面的应用。在dblp上使用vulnerability machine learning deep learning等关键字搜索，做了一下调研，发现大部分研究更偏向于学术型和研究型，能在工业界产生实际应用价值的很少，其中有一个比较有意思的应用是预测漏洞被利用的可能性。当时看到这个才发现我的思维定势，机器学习在漏洞方面的应用一定是指机器学习来挖洞吗？机器学习也可以应用在漏洞数据方面，可以做的事情是工程化”预测漏洞被利用的可能性“，为工业界服务。顺手在管理idea的仓库简要记录下了整个过程。

               

在这里给大家安莉下我的idea管理小本本，主要记录idea和TODO，找到适合自己的项目和时间管理工具很重要。