决策树

最新推荐文章于 2025-05-14 14:20:17 发布

原创最新推荐文章于 2025-05-14 14:20:17 发布 · 243 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#决策树

机器学习专栏收录该内容

26 篇文章

订阅专栏

一、熵

熵（entropy）表示随机变量不确定性的度量。
在这里插入图片描述

变量 $X$ 的取值 $x_{i}$ ，取这些值的概率为 $p(x_{i})$
$H(p)=−Σi=1np(xi)log(p(xi))H(p)=-\Sigma_{i=1}^{n} p(x_{i})log( p(x_{i}))$

二、联合熵

根据熵的定义，得到联合熵的表达式：
$H(X,Y)=−Σi=1nΣj=1mp(xi,yj)log(p(xi,yj))H(X,Y)=-\Sigma_{i=1}^{n}\Sigma_{j=1}^{m} p(x_{i},y_{j})log( p(x_{i},y_{j}))$

三、条件熵

H(Y|X)表示在随机变量X确定的情况下，随机变量Y的不确定性
$H(Y∣X)=H(X,Y)−H(X)=−Σi=1nΣj=1mp(xi,yj)log(p(xi,yj))−(−Σi=1np(xi)log(p(xi)))(1)=−Σi=1nΣj=1mp(xi,yj)log(p(xi,yj))−(−Σi=1nΣj=1mp(xi,yj)log(p(xi)))(2)=−Σi=1nΣj=1mp(xi,yj)(log(p(xi,yj))−log(p(xi)))(3)=−Σi=1nΣj=1mp(xi,yj)logp(xi,yj)p(xi)=−Σi=1nΣj=1mp(xi,yj)logp(yj∣X=xi)=−Σi=1nΣj=1mp(xi)p(yj∣X=xi))logp(yj∣X=xi)=−Σi=1np(xi)Σj=1mp(yj∣X=xi))logp(yj∣X=xi)=−Σi=1np(xi)H(Y∣X=xi)\begin{aligned} H(Y|X)&=H(X,Y) - H(X)\\ &=-\Sigma_{i=1}^{n}\Sigma_{j=1}^{m} p(x_{i},y_{j})log( p(x_{i},y_{j})) - (-\Sigma_{i=1}^{n} p(x_{i})log( p(x_{i}))) (1)\\ &=-\Sigma_{i=1}^{n}\Sigma_{j=1}^{m} p(x_{i},y_{j})log( p(x_{i},y_{j})) - (-\Sigma_{i=1}^{n}\Sigma_{j=1}^{m} p(x_{i},y_{j})log( p(x_{i}))) (2)\\ &=-\Sigma_{i=1}^{n}\Sigma_{j=1}^{m} p(x_{i},y_{j})(log( p(x_{i},y_{j})) -log( p(x_{i})) ) (3)\\ &=-\Sigma_{i=1}^{n}\Sigma_{j=1}^{m} p(x_{i},y_{j})log\frac {p(x_{i},y_{j})} {p(x_{i})} \\ &=-\Sigma_{i=1}^{n}\Sigma_{j=1}^{m} p(x_{i},y_{j})logp(y_{j}|X=x_{i}) \\ &=-\Sigma_{i=1}^{n}\Sigma_{j=1}^{m} p(x_{i}) p(y_{j}|X=x_{i}))logp(y_{j}|X=x_{i}) \\ &=-\Sigma_{i=1}^{n}p(x_{i})\Sigma_{j=1}^{m} p(y_{j}|X=x_{i}))logp(y_{j}|X=x_{i}) \\ &=-\Sigma_{i=1}^{n}p(x_{i}) H(Y|X=x_{i}) \end{aligned}$

四、信息增益（Information Gain）

信息增益表示得知特征A的信息而使得数据集D信息不确定性减少的程度
$g (D, A) = H (D) - H (D ∣ A)$
采用信息增益作为判定方法，会倾向于去选择特征取值比较多的特征作为最优特征。那么，选择取值多的特征为甚就不好呢？（用ID作为区分特征，每个特征的属性中的样本少，特征与分类结果间没关系）