id3 学习总结

id3 学习总结

 

一、数据特征

DataSet

 

ID   Attribute1  Attribute2  .. AttributeN    Class

1    value_11   value_12   ... value_1N    class1

2    value_21   value_22   ... value_2N    class2

.    ...        ...        ... ...         ...

 

M   value_M1  value_M2...   value_MN    classM

 

注：

[1]   每个数据项有N个属性

[2]   每个属性有多个属性值

[3]   每个数据项归属于1个类

 

二、属性值熵的计算

Entropy

 

Entropy(S) = S -p(I) log2 p(I)

 

注：

S    ——是数据集合

p(I) ——是S属于某一个类的概率

log2       ——以2为底求对数

 

例：

[1]如果S是14个数据集合，其中有9个属于类Yes和5个属于类No：

Entropy(S) = - (9/14) Log2 (9/14) - (5/14) Log2 (5/14) = 0.940

[2]如果S的所有元素属于同一类则entropy为0 (该数据集是被完全分类的).Entropy的范围是从0(完全确定)到1 (全部随机).

 

三、信息增益的计算

Gain

Gain(S, A) 是数据集S在属性A上的信息增益定义为：

Gain(S, A) = Entropy(S) - S((|S_v| / |S|) * Entropy(S_v))

注:

S对属性A的所有可能值求和

S_v = S中的属性A值为v的子数据集S_v

|S_v| = S_v中的元素个数

|S| = S中的元素个数

四、递归计算生成决策树

[1] 对于S计算Entropy(S),对S的每个属性A计算其Gain(S，A)；

[2] 取gain（S，A）最大值时的A属性为决策树跟节点p0；

[3] 对A的每个属性值 v1，v2，… ，vN，分别将S划分为S1，S2，… ，SN,其中v1，v2，… ，vN为p0点的分支的路径取值；

[4]   对S1，S2，…，SN重复[1]，[2]，[3]步骤，依次获得次决策点p1,p2,…pN，直到得到叶子节点，叶子节点上为类的值。

五、规则生成

[0]   DataSet例子

Day	Outlook	Temperature	Humidity	Wind	Play ball
D1	Sunny	Hot	High	Weak	No
D2	Sunny	Hot	High	Strong	No
D3	Overcast	Hot	High	Weak	Yes
D4	Rain	Mild	High	Weak	Yes
D5	Rain	Cool	Normal	Weak	Yes
D6	Rain	Cool	Normal	Strong	No
D7	Overcast	Cool	Normal	Strong	Yes
D8	Sunny	Mild	High	Weak	No
D9	Sunny	Cool	Normal	Weak	Yes
D10	Rain	Mild	Normal	Weak	Yes
D11	Sunny	Mild	Normal	Strong	Yes
D12	Overcast	Mild	High	Strong	Yes
D13	Overcast	Hot	Normal	Weak	Yes
D14	Rain	Mild	High	Strong	No

 

Gain(S,Wind)=Entropy(S)-(8/14)*Entropy(S_weak)-(6/14)*Entropy(S_strong)

= 0.940 - (8/14)*0.811 - (6/14)*1.00

= 0.048

Entropy(S) = - (9/14) Log2 (9/14) - (5/14) Log2 (5/14) = 0.940

Entropy(S_weak) = - (6/8)*log2(6/8) - (2/8)*log2(2/8) = 0.811

Entropy(S_strong) = - (3/6)*log2(3/6) - (3/6)*log2(3/6) = 1.00

 

[1]   决策树形象表示：叶子节点为归属类，非叶子节点为某一个属性。

[2]   规则表达式

       If Attribute[i] = value[j] AND …THEN Class = class[x]

       Attribute[i]为Attribute1到AttributeN

       Value[j]为v1到vN

       Class[x]为class1到classN

如上图可表示为：

IF outlook = sunny AND humidity = high THEN playball = no

IF outlook = rain AND humidity = high THEN playball = no

IF outlook = rain AND wind = strong THEN playball = yes

IF outlook = overcast THEN playball = yes

IF outlook = rain AND wind = weak THEN playball = yes

 

 

我的程序运行结果：

IF Outlook = [Sunny] IF Humidity = [High]  THEN  IsPlay = No

Humidity = [Normal]  THEN  IsPlay = Yes

IF Outlook = [Overcast]  THEN  IsPlay = Yes

IF Outlook = [Rain] IF Wind = [Strong]  THEN  IsPlay = No

Wind = [Weak]  THEN  IsPlay = Yes

Press any key to continue