基于spark 的孤立森林的算法 Isolation Forest based Anomaly Detection

---

Anomaly: Isolation Forest based Anomaly Detection

INTRODUCTION

异常检测（outlier detection）在以下场景：

• 数据预处理
• 病毒木马检测
• 工业制造产品检测
• 网络流量检测

等，有着重要的作用。由于在以上场景中，异常的数据量都是很少的一部分，因此诸如：SVM、逻辑回归等分类算法，都不适用，因为：

监督学习算法适用于有大量的正向样本，也有大量的负向样本，有足够的样本让算法去学习其特征，且未来新出现的样本与训练样本分布一致。

以下是异常检测和监督学习相关算法的适用范围：

异常检测：信用卡诈骗、制造业产品异常检测、数据中心机器异常检测、入侵检测

监督学习：垃圾邮件识别、新闻分类

Anomaly Detection

In data mining, anomaly detection (also outlier detection) is the identification of rare items, events or observations which raise suspicions by differing significantly from the majori