《统计学习方法》读书笔记-----决策树：特征选择

特征选择

特征选择就是选取对训练数据具有分类能力的特征，这样可以提高决策树学习的效率。通常特征选择的准则是信息增益或信息增益比。
1. 熵和条件熵

在信息论与概率统计中，熵（entropy）是表示随机变量不确定性的度量。
设$X$是一个取有限个值的离散随机变量，其概率分布为

$$P(X=x_i)=p_i, i=1,2,...,n$$
则 随机变量$X$的熵定义为
$$H(X)=-\sum _{i=1}^n p_ilogp_i$$
由于熵只依赖于 $X$的分布，与 $X$的取值无关，所以可以将 $X$的熵记作 $H(p)$：

H(p)=−∑i=1npilogpi H ( p ) = − ∑ i = 1 n p i l o g p i

$$H(p)=-\sum _{i=1}^n p_ilogp_i$$
熵越大，随机变量的不确定性越大。

---

设有随机变量$(X,Y)$，其联合概率分布为：

$$P(X=x_i,Y=y_i)=p_{ij},i=1,2,...,n;j=1,2,...,m$$
条件熵$H(Y|X)$表示在已知随机变量$X$的条件下随机变量 Y