【机器学习】信息、信息熵、信息增益、增益率及基尼系数的概念总结

本文总结了机器学习中重要的概念,包括信息、信息熵、信息增益、增益率和基尼系数。信息熵用于度量不确定性,信息增益衡量特征选择性,增益率则是C4.5决策树算法中的改进指标,而基尼系数被CART决策树用于选择划分属性。这些概念在构建决策树模型时起到关键作用。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

信息、信息熵、信息增益、增益率及基尼系数的概念总结


信息

信息是用来消除随机不确定性的东西。对于机器学习中的决策树而言,如果待分类的事物集合可以划分为多个类别当中,则第k类的信息可以定义如下:

I(k)=-log_2({p_k})

信息熵

信息熵是用来度量不确定性,当熵越大,k的不确定性越大,反之越小

假定当前样本集合D中第k类样本所占的比例为p_k (k=1,2,...,|y|),则D的信息熵定义为:

Ent(D)=-\sum_{k=1}^{|y|}{p_klog_2 {p_k}}

信息增益

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

镰刀韭菜

看在我不断努力的份上,支持我吧

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值