随机森林简介

随机森林是多个cart树（classification and regression tree）组合成的集成学习方法。
特征选择和剪枝操作：均基于信息熵，不确定性和精度。

对于离散特征：
计算数据的期望信息量。计算每一个特征分类的信息量。增益越大，说明信息越确定，精度越纯。选择信息增益最大的特征作为分类结点。
对于连续特征：
使用连续变量的中值作为分裂点，计算信息增益。后续同离散。

减枝分为预剪枝和后剪纸，避免过拟合。
将数据分为训练和验证集后，
预剪枝：在生成树的过程中，按照信息增益选取特征，若按该特征分枝后验证集精度提高，才进行划分。
后剪纸：树枝生长完全后，从上至下计算验证误差，若精度下降，则减去该枝。