最大熵和决策树

最新推荐文章于 2024-07-23 11:56:39 发布

蚕样起趁

最新推荐文章于 2024-07-23 11:56:39 发布

阅读量499

点赞数

分类专栏：机器学习文章标签：最大熵机器学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/weixin_41622267/article/details/84679903

版权

机器学习专栏收录该内容

5 篇文章

订阅专栏

熵

联合熵

$H(X,Y)$

条件熵

$H(X,Y)-H(Y)=-\sum_{x,y}^{ }p(x,y)log p(x|y)$

$H(X|Y)=H(X)-I(X,Y)$

相对熵

$D(p||q)=\sum_{x}^{ }p(x)log\frac{p(x)}{q(x)}$

互信息

$I(X,Y)=\sum_{x,y}^{ }p(x,y)log\frac{p(x,y)}{p(x)p(y)}$

$H(X,Y)-H(X)=H(Y|X)$

$H(X)+H(Y)-H(X,Y)=I(X,Y)$

$H(Y)-H(Y|X)=I(X,Y)$

$H(Y|X)=H(Y)-I(X,Y)$

ID3：信息增益

$g(D,A)=H(D)-H(D|A)$

$H(D)=-\sum_{k=1}^{K}\frac{\left | C_{k} \right |}{\left | D \right |}log\frac{\left | C_{k} \right |}{\left | D \right |}$

$H(D|A)=-\sum_{i=1}^{n}\frac{\left | D_{i}\right |}{\left | D \right |}\sum_{k=1}^{K}\frac{\left | D_{ik}\right |}{\left | D_{i} \right |}log\sum_{i=1}^{n}\frac{\left | D_{ik}\right |}{\left | D_{i} \right |}$

C4.5：信息增益率

$g_{r}(D,A)=\frac{g(D,A)}{H(A)}$

CART：Gini系数

$Gini(p)=1-\sum_{k=1}^{K}\left ( \frac{\left | C_{k} \right |}{\left | D \right |} \right )^{2}$

博客等级

码龄7年

15
原创

5
点赞

20
收藏

4
粉丝

关注

私信

热门文章

分类专栏

展开全部收起

上一篇：: 科学计算常用函数

下一篇：: M估计稳健回归（M-estimation）

最新评论

M估计稳健回归（M-estimation）
优快云-Ada助手: 非常感谢您的分享，M估计稳健回归（M-estimation）是一个非常有用的统计学方法。我觉得您可以考虑写一篇关于使用M估计进行异常值检测的博客，介绍一些常见的M估计异常值检测算法及其应用场景，这对其他用户来说一定非常有帮助。相信您的文章会吸引更多读者前来阅读和学习。期待您的下一篇文章！为了方便博主创作，提高生产力，优快云上线了AI写作助手功能，就在创作编辑器右侧哦～（https://mp.youkuaiyun.com/edit?utm_source=blog_comment_recall ）诚邀您来加入测评，到此（https://activity.youkuaiyun.com/creatActivity?id=10450&utm_source=blog_comment_recall）发布测评文章即可获得「话题勋章」，同时还有机会拿定制奖牌。
M估计稳健回归（M-estimation）
Lyra717: 后面的图挂掉啦
M估计稳健回归（M-estimation）
就是想改名称啊: 这个思想说的很清晰谢谢。学习了。

最新文章

目录

展开全部

收起

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。