本文深入探讨了信息论基础，包括熵、联合熵、条件熵、信息增益和基尼不纯度。接着，详细介绍了ID3、C4.5和CART三种决策树算法，讨论了它们的优缺点、信息增益比以及如何防止过拟合。此外，还提到了决策树在sklearn中的参数设置和可视化方法，以及评估决策树性能的策略，如自助法和准确率区间估计。
一、信息论基础
1.熵：信息熵代表的是随机变量或整个系统的不确定性，熵越大，随机变量或系统的不确定性就越大。即描述的是有关事件 X X X的所有可能结果的自信息期望值： H ( X ) = − ∑ i = 1 n p i l o g p i H(X)=-\sum\limits_{i=1}^{n}p_{i}logp_{i} H(X)=−i=1∑npilogpi
其中n代表事件 X X X的所有n种可能的取值， p i p_i pi代表了事件X为i时的概率。
自信息： I ( x ) = − l o g P ( x ) I(x)=-logP(x) I(x)=−logP(x)
2.联合熵：二维随机变量XY的联合熵（joint entropy）定义为联合自信息的数学期望，它是二维随机变量XY的不确定性的度量： H ( X , Y ) = − ∑ x ∈ χ ∑ y ∈ ρ p ( x , y ) l o g p ( x , y ) = ( l o g 1 p ( x , y ) ) H(X,Y)=-\sum\limits_{x\in\chi}\sum\limits_{y\in\rho}p(x,y)logp(x,y)=(log\frac{1}{p(x,y)}) H(X,Y)=−x∈χ∑y∈ρ∑p(x,y)log
最低0.47元/天 解锁文章
扫一扫
562
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
