8、大数据中的在线异常检测：抵御入侵者的第一道防线

大数据中的在线异常检测：抵御入侵者的第一道防线

1. 引言

在当今时代，微型计算技术的进步催生了能够执行复杂任务的物理系统，这些系统之间的通信需求进而定义了网络物理系统。同时，网络系统、物理系统与人类相互交互，以完成需要人类认知输入的任务，提升人类的舒适度和体验质量。这种网络 - 物理 - 人类系统（CPHS）预计在未来会越来越普遍。

然而，计算和连接技术的革命也使得 CPHS 基础设施面临着蓄意攻击，攻击者只需一台计算机和识别、利用系统漏洞的知识，就可能造成灾难性后果。

过去二十年来，入侵检测机制的研究取得了巨大进展，主要可分为以下几类：
- 基于特征签名的检测：主要基于已知攻击或入侵行为设计。
- 基于规则的检测：同样依赖已知的攻击规则。
- 基于计算机智能的检测：有望抵御未知攻击。

实际上，多数入侵检测机制旨在检测“上下文异常”，因此本文采用更通用的术语——异常检测。

高级持续威胁（APT）是由复杂且资源丰富的对手实施的隐蔽网络攻击，目标通常是高价值公司和政府的特定信息，往往是长期的多阶段、多攻击向量的活动。例如，震网蠕虫、极光木马、迪吉诺塔尔黑客事件等。APT 具有以下特点：
- 明确的数字资产目标，如国家安全数据、知识产权等，以获取竞争优势或战略利益。
- 攻击者组织严密且资源充足，能够利用零日漏洞和分布式拒绝服务（DDoS）攻击工具。
- 长期的攻击活动，能够适应防御机制，在目标网络中潜伏数月甚至数年而不被发现。
- 采用隐蔽和逃避的攻击技术，如利用零日漏洞绕过特征签名检测，使用加密手段混淆网络流量。

我们将 APT 攻击分为八个阶段：侦察