机器学习-决策树属性分类方法公式
主要简单介绍了ID3、C4.5、CART决策树如何确定不同属性的顺序。
ID3:信息熵增益
C4.5:增益率
CART:gini不纯度
1. ID3
信息熵计算:
H = sum(-Pi*log2(Pi))
例子:
sex
age
label
0
5
0
1
10
1
0
5
1
0
10
0
首先看label的信息熵:label分为两类:概率都是1/2,则:-2/4log2(2/4)+(-2/4)log(2/4)=1
age的信息熵:age主要有5,10两类,对于age=5
原创
2020-07-29 22:27:54 ·
587 阅读 ·
0 评论