决策树学习笔记

最新推荐文章于 2025-05-16 14:00:49 发布

m0_46521579

最新推荐文章于 2025-05-16 14:00:49 发布

阅读量750

点赞数 5

文章标签：决策树算法机器学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/m0_46521579/article/details/138013659

版权

一、衡量标准——熵

$H(X)=-\sum p_i \log(p_i)$

随机变量不确定性的度量

信息增益：表示特征X使得类Y的不确定性减少的程度。

二、数据集

14天的打球情况

特征：4种环境变化（天气、温度等等）

在上述数据种，14天中打球的天数为9天；不打球的天数为5天，计算熵值为

$H(X)=-\frac{5}{14} \log(\frac{5}{14}) - \frac{9}{14} \log(\frac{9}{14}) = 0.940$

（1）选择outlook作为根节点

计算加权

$\frac{5}{14}*0.971+\frac{4}{14}*0+\frac{5}{14}*0.971=0.693$

gain(outlook) = 0.940-0.693 = 0.247

类似计算：

gain(temp) = 0.029

gain(humidity) = 0.152

gain(windy) = 0.048

outlook的信息增益最大，因此选择outlook作为根节点

以此类推，确定每一个子树的根节点

三、决策树算法

ID3: 信息增益

C4.5: 信息增益率

CART: GINI系数

$1-\sum p_k^2$

四、剪枝

决策树过拟合风险很大，理论上可以将数据完全分开，即一个叶子节点一个数据，因此需要对决策数进行剪枝操作。

剪枝策略：预剪枝和后剪枝

预剪枝：边建立决策树边进行剪枝操作

后剪枝：当建立完决策树后来进行剪枝操作

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。