机器学习实战学习笔记（二）：决策树

决策树优缺点

• 优点：计算复杂度不高，输出结果易于理解，对中间值的确实不敏感，可以处理不相关特征数据。
• 缺点：可能会产生过度匹配问题。
• 适用数据类型：数值型和标称型。

原理

树结构

信息增益

在划分数据集之前之后信息发生的变化称为信息增益。

香农商

集合信息的度量方式称为香农熵或者简称为熵，这个名字来源于信息论之父克劳德.香农。

例子

略

实际中的应用——预测隐形眼镜类型

隐形眼镜数据集是非常著名的数据集。构造树结构。