quickLook-决策树家族

目录

1.决策树

2.随机森林

3.Xgboost

---

1.决策树

条件分支结构if-else大家一定十分熟悉了，决策树其实就是一个if-else的过程

(图片来源：deaplearning.ai - Andrew Ng)

如果现在要分类猫和狗，对于最初样本，脸型是否是圆的？是划分为一类，不是则划分为另一类，耳朵是否是竖的？是划分为一类，不是则划分为另一类，按照这个划分，成功分类出样本中的10只猫狗。

怎样选择节点划分特征呢？

1）分类树

目标是计算类别的决策树，上面分类猫狗的任务正是一个分类树

对于离散变量（比如脸是不是圆的）：信息增益，信息增益率，基尼系数

香农对信息量的定义：

p代表事件发生的概率，概率越大，信息越少，也就是不确定性越大，那么信息越多。

信息熵：

信息量的数学期望，将logP(x)换成1-P(x)就是基尼系数