网络安全中大数据和人工智能应用实践

传统的网络安全防护手段主要是通过单点的网络安全设备，随着网络攻击的方式和手段不断的变化，大数据和人工智能技术也在最近十年飞速地发展，网络安全防护也逐渐开始拥抱大数据和人工智能。传统的安全设备和防护手段容易形成数据孤岛，一种设备只能解决某一方面的问题，基于已有特征进行匹配，未将数据进行集中、组合和关联，缺乏有效的上下文分析，无法进行深度分析，无法发现未知或隐蔽的威胁。通过大数据和人工智能的方法，可以将各种网络安全相关的数据集中关联和分析，这是网络安全分析的长期发展方向。
网络安全大数据这块也经历了很多年发展，但是在工程实践中，针对网络安全问题的防护还是存在很多欠缺的地方，市场这块也集中在监管类的安全大数据产品，运营类安全大数据市场需求偏少。结合自己对网络安全大数据的了解，主要从几下几个方面谈谈自己的看法：
● 数据对接成本高
涉及到不同厂商、不同设备的数据对接，缺乏统一的数据对接标准和规范，都是历史遗留的问题，不光是技术升级的成本，还涉及到厂商设备升级的费用问题，毕竟天下没有免费的午餐，项目本身的协调成本大于技术维护成本。
● 检测能力普遍不足
目前各大厂商对安全大数据的宣传是解决未知和隐蔽的高级可持续性威胁，但是基于产品应用的情况来看，很多远远满足不了这个宣传策略。那问题点在哪里了，站在我思考的角度来看，还是出在数据问题上，目前接入的一些网络安全设备数据，本质上还是接入的基于特征匹配的部分日志数据，而基于主机、服务器、程序等实体对象操作行为数据和流量数据偏少。应当摒弃过渡依赖基于特征匹配的思路，而应当从数据的选择上就要考虑需要基于原始行为和原始流量的数据进行分析，避免部分特征匹配的数据成为分析的干扰源。
● 业务理解程度不够
网络安全大数据产品目前主要还是以相关国家标准进行建设，重点还是停留在合规监管层面，产品研发更多地在按标准依葫芦画瓢，以达到国家相关部门的测评为准则，其实国家相关部门出的标准和测试都是基于单点的思路和规则，没有从整体和全局的角度去系统性测试产品，很多厂商为了应付测试也钻了空子。正常情况下，应当是和相关部门、企业一起结合实际的网络安全防护场景进行研究，以攻为守，基于业务需求进行建模，以满足实用实战为导向。
● 系统和运营未有效结合
很多部门、企业建设了网络安全大数据相关的