H
(
X
)
=
∑
x
∈
X
−
P
(
x
)
l
o
g
(
P
(
x
)
)
H(X)=\sum \limits_{x \in X}-P(x)log(P(x))
H(X)=x∈X∑−P(x)log(P(x))
信息增益
特征A对训练样本集D的信息增益g(D,A),定义为集合D的信息熵H(D)与特征A给定的条件下D的信息条件熵H(D|A)只差 即公式为
g
(
D
,
A
)
=
H
(
D
)
−
H
(
D
∣
A
)
g(D,A)=H(D)-H(D|A)
g(D,A)=H(D)−H(D∣A) 表示得知特征X的信息而使得类Y的信息的不确定性减少的程度
本文探讨了信息熵的概念，它是通过计算概率分布中信息的不确定性的度量。信息增益则是衡量特征选择对分类任务中信息减少的贡献，通过比较特征引入前后的信息熵差异来评估特征的重要性。理解这两个概念有助于优化数据挖掘和机器学习过程中的特征选择和模型构建。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
