27、异常检测：原理、方法与实践

异常检测：原理、方法与实践

1. 异常检测概述

异常检测是一个广泛应用但极具挑战性的领域。由人类行为产生的异常检测应用最为常见，也最为棘手，这就像一场棋局，一方是开发先进检测系统的专家、数据科学家和工程师，另一方是研究对手策略的黑客。因此，这类系统需要大量领域知识，并且要具备反应性和动态性。

异常并不都源于“坏人”。在营销领域，异常可能代表孤立但高利润的客户，可针对他们提供定制化服务。例如，在经济衰退期，找到逆势增加利润的潜在客户，有助于调整产品和重新设计商业策略。此外，异常检测还应用于医疗诊断、硬件故障检测、预测性维护等领域，这些应用都需要具备敏捷性。

商业机会如同新的恶意软件，每天都可能出现，且生命周期可能很短，从几小时到几周不等。如果系统反应迟缓，就可能错过机会，无法赶上竞争对手。人类检测系统难以扩展，且通常存在泛化问题。正常行为的偏差并不总是明显的，分析师很难记住所有历史数据进行比较，而这正是异常检测的核心要求。如果异常模式隐藏在数据实体的抽象和非线性关系中，情况会更加复杂。因此，开发能够学习复杂交互并提供实时准确监测的智能全自动系统，是该领域的创新前沿。

2. 常见的浅层机器学习技术

异常检测并非新领域，已有许多技术得到深入研究。建模可分为数据建模和检测建模两个阶段。

2.1 数据建模

数据建模通常是将可用数据按照我们想要检测的观测粒度进行分组，使其包含检测模型所需考虑的所有必要信息。主要有以下三种数据建模技术：
- 点异常 ：类似于单个离群值检测，数据集中的每一行对应一个独立观测。目标是将每个观测分类为“正常”或“异常”，或者提供一个