《网络安全态势感知》读书笔记

本书涉及面较广，但是白话较多，没有太多的干货。寸之深，亩只阔，适合作为科普读物快速阅读。

Ⅰ 基础知识

1 开启网络安全态势感知的旅程

（1）网络安全态势感知本质上就是获取并理解大量网络安全数据，判断当前整体安全状态并预测短期未来趋势。总体而言可分为三个阶段：态势提取、态势理解和态势预测，三个部分同步并行，相互触发连续的变化，不断更新和往复循环。

（2）防火墙的实质：根据包的起点和终点来判断是否允许其通过

（3）IDS分类：

• 根据信息来源不同分为：基于主机、基于网络和分布式IDS
• 根据检测方法和安全策略，分为：
  • 异常入侵检测：建立正常行为模型，漏报低，误报高
  • 误用入侵检测：建立不可接受的行为模型，漏报高，误报低

（4）获取较低抽象层次的网络安全态势的方法：入侵检测与告警关联、使用攻击图进行漏洞分析、因果关联分析、取证分析（入侵的反向追踪）、信息流分析、攻击趋势分析和入侵响应。

（5）JDL的数据融合模型、Bass的功能模型

（6）数据融合是网络安全态势理解的核心

（7）当前的网络安全态势预测方法：神经网络、时间序列预测法、SVM、基于因果的数据模型、模式识别

（8）目标：降低MTTD/MTTR（平均检测时间/平均响应时间）

2 大数据平台和技术

• 大数据特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）

2.1 大数据基础

2.1.1 大数据关键技术

• 数据采集与预处理
• 数据存储与管理
• 数据处理与分析
• 数据可视化呈现

2.1.2 大数据计算模式

• 批处理计算：传统的计算方式，如MapReduce、Spark
• 流式计算：实时处理多源、连续到达的流式数据
• 交互式查询计算：用于对超大规模数据的存储管理和查询分析
• 图计算：以“图论”为基础，用于对大规模图结构数据的处理

2.2 大数据主流平台框架

2.2.1 Hadoop

• 采用Java开发的开源分布式计算平台，用大量廉价计算机集群进行分布式存储计算，具有良好的跨平台性，主要用于批处理计算。
• 优点：高可靠性、高效性、低成本、可扩展性、支持多种编程语言
• 缺点：计算过程放在硬盘上，速度不如使用内存快
• 采用MapReduce计算模型

2.2.2 Spark

• Scala语言编写，提供了内存计算，用于对大规模数据的快速处理
• 兼容Hadoop
• 优点：速度快、通用性（支持4种计算模式）、易用性、运行模式多样

2.2.3 Storm

• 主要用于实时的流式数据处理
• 优点：整合性（可以方便地和消息队列系统、数据库进行整合）、可扩展性、简易的API、可靠的消息处理、容错性、支持多种编程语言

由于安全场景复杂批量数据处理和基于历史数据的交互式查询以及数据挖掘，对实时流式数据处理也有一部分需求，因此适合使用Hadoop+Spark相结合的建设模式。

2.3 网络安全态势感知架构

2.4 大数据采集与预处理技术

（1）数据分类

• 按照形态分类分类：结构化数据和非结构化数据
• 按照应用场景计算需求分类：静态数据和动态数据（流式数据，随时间而无限增长）
• 按照来源和特点分类：环境业务类数据、网络层面数据、主机层面日志数据、告警数据

（2）数据采集方法：

• 传感器： 软件或硬件“探针”
• 网络爬虫
• 日志收集系统：Flume
• 数据抽取工具：将存储在数据库中的结构化数据抽取到Hadoop中；Sqoop
• 分布式消息队列系统：在消息传输过程中保存消息的容器或中间件，提供消息路由、数据分发和可靠传递；Kafka

2.5 大数据存储与管理技术

• 分布式文件系统 ：GFS、HDFS
• 分布式数据库：HBase
• 分布式协调系统：主要用来解决分布式环境当中多个进程之间的相互控制；使用分布式锁；ZooKeeper
• 非关系型数据库：NoSQL
• 资源管理调度： YARN、Mesos

2.6 大数据处理与分析技术

• 批量数据处理：MapReduce

• 交互式数据分析：Hive

• 流式计算：Storm、Spark Streaming；前者实时程度高，后者采用小批量处理方式可以兼顾批量和实时处理

• 图计算：Pregel

• 高级数据查询语言Pig：一种脚本语言，会自动把用户编写的脚本转换成MapReduce作业并在Hadoop运行

2.7 大数据可视化技术