理解《Deep Forest: Towards An Alternative to Deep Neural Network》

Deep Forest 优点

1. 性能高度接近深度神经网络

2. gcForest 的参数数量较少，训练更简单，森林层次自适应

3. 训练速度更快

4. gcForest能在小数据集上表现良好

5. 树结构在理论上更容易分析和理解

Deep Learning 缺点

1. 需要更大的训练数据才能有更好的结果

2. DNN结构复杂，需要的计算量大（为了要利用大的训练数据，学习模型需要更大的容量，会更复杂）

3. DNN有大量参数，且训练性能严重依赖于 hyper parametor 的微调

Deep Forest 结构

说明：本文中插图全部来自原论文 ”Deep Forest: Towards An Alternative to Deep Neural Network”

Deep Forest 的结构分为两个大部分，其中

第一个部分是Multi-Grained Scanning，作用类似于卷积神经网络，即将多个相邻特征进行分组处理，考虑了特征之间的相互关系，示例中将一个400维的特征扩展到了3618维。

第二个部分是Cascade Forest ，这部分是算法的核心，通过将若干个弱分类器（决策树）集成得到的森林再次集成，形成森林瀑布的层次，每一层中都由四个森林组成，最终结果层是取森林瀑布顶层的四个森林结果的均值作为最终判定结果。

Cascade Forest 整体算法如下：