熵是表示随机变量不确定性的度量,变量X是一个取有限值的离散属性,其概率分布为
其中n为变量取值个数,那么变量
H(X)=−∑i=1npilogpi
熵越小,随机变量X的不确定性就越小。
信息增益的定义为:集合
g(D,A)=H(D)−H(D|A)
其中
H(D)=−∑k=1Kpklogpk K为类别数,
信息增益比定义为:信息增益g(D,A)与训练数据集D关于特征
gr(D,A)=g(D,A)HA(D)
其中
HA(D)=−∑i=1n|Di||D|log2|Di||D|
熵是表示随机变量不确定性的度量,变量X是一个取有限值的离散属性,其概率分布为
其中n为变量取值个数,那么变量
H(X)=−∑i=1npilogpi
熵越小,随机变量X的不确定性就越小。
信息增益的定义为:集合
g(D,A)=H(D)−H(D|A)
其中
H(D)=−∑k=1Kpklogpk K为类别数,
信息增益比定义为:信息增益g(D,A)与训练数据集D关于特征
gr(D,A)=g(D,A)HA(D)
其中
HA(D)=−∑i=1n|Di||D|log2|Di||D|