11、机器学习中的集成学习：随机森林、隔离森林与提升算法

机器学习中的集成学习：随机森林、隔离森林与提升算法

隔离森林算法

隔离森林（Isolation Forest）是基于决策树构建的算法，用于异常值和离群点检测。其核心假设是离群数据点较为罕见。

与随机森林不同，隔离森林创建一系列决策树，计算隔离树中某个观测值所需的路径长度。由于离群观测值或异常值更容易分离，区分它们与正常情况所需的条件较少，因此异常值的路径比正常观测值短，更靠近树的根节点。创建多个决策树后，对分数进行平均，从而确定哪些观测值是真正的异常值。

隔离森林不使用任何距离或密度度量来检测异常，与基于距离和密度的方法相比，显著降低了计算成本。在 scikit-learn 中， sklearn.ensemble.IsolationForest 提供了隔离森林算法的实现。具体链接为：https://bit.ly/2DCjGGF 。

使用 H2O 实现随机森林预测信用卡违约

H2O 是一个开源的分布式机器学习平台，可在大型数据集上构建机器学习模型。它支持监督和无监督算法，速度极快、可扩展且易于实现。H2O 的 REST API 允许从外部程序（如 R 和 Python）访问其所有功能，Python 中的 H2O 设计与 scikit-learn 非常相似，最新版本为 H2O v3。

H2O 能够为企业带来快速机器学习的原因在于：
- 核心代码用 Java 编写。
- 内部使用分布式键/值存储来跨所有节点和机器访问和引用数据、模型、对象等。
- 算法基于 H2O 的分布式 Map/Reduce 框架实现