决策树(Decision tree)

决策树(Decision tree)

若干重要定义：
1. 用熵定义样本纯度：

$$Entropy(S) = -P_+log_2P_+-P_-log_2P_-$$
参数：$S$为样本。
公式解释：$P_+$为样本中正例数，$P_-$为样本中负例数。

2.用熵定义信息增益：

$$Gain(S,A)=Entropy(S)-\sum_{v\in Values(A)} {|S_v| \over |S|} Entropy(S_v)$$
参数：$S$为样本，$A$为样本测试属性。
公式解释：$v$为测试属性有的值，$S_v$为满足某一测试属性的样本子集。