机器学习-关键词：正则化、过拟合、决策树

过拟合

过拟合是指学习时选择的模型所包含的参数过多，以至于出现这一对已知数据预测得很好，但对位置数据预测得含茶的现象。 即对训练数据预测得好，对测试数据预测得差的现象。
过拟合出现的情况：
1：样本容量很小时，
2：选择的模型所包含的参数过多。

两种常用的模型选择方法：正则化、交叉验证。
正则化是模型结构风险最小化策略的实现。
正则化项一般是模型复杂度的单调递增函数，模型越复杂，正则化值就越大。
正则化的作用是选择经验风险与模型复杂度同时较小的模型。

交叉验证：

给定的样本数据充足时，将样本分成三部分：训练集、验证集、测试集。
训练集用于训练模型，验证集用于模型的选择，测试机用于 最终对学习方法的评估。但是在实际应用中数据是不充足的，为了选择好的模型，可以采用交叉验证的方法。

---

决策树：

决策树的学习通常包括三个步骤：特征选择、决策树的生成、决策树的修剪。
ID3算法、C4.5、CART算法。
其中，ID3算法：用信息增益来选择特征；只有树的生成，容易产生过拟合。
C4.5对ID3算法进行了改进，在生成的过程中国，用信息增益比来选择特征。

特征选择：选取对训练数据具有分类能力的特征。目的：提高决策树学习的效率。
通常的特征选择的准则是信息增益或信息增益比。
信息增益：

熵（entropy）

是表示随机变量不确定性的度量。
设随机变量X是一个取有限个值的离散随机变量，其概率分布为：

$P(X=x_i)=p_i$,$i=1,2,...,n$

则随机变量X的熵的定义为：

$H(X)=- \sum\limits_{{\rm{i = }}1}^n {{p_i}\log {p_i}}$

式中对数以2为底或以e为底，这时熵的单位分别称作比特（bit) 或者纳特（nat）.
有定义可知，熵只依赖于X的分布，而与X的取值无关，所以也可以将X的熵记作$H(p)$,即：

$H(p)=- \sum\limits_{{\rm{i = }}1}^n {{p_i}\log {p_i}}$

熵越大，随机变量的不确定性就越大。从定义可以验证：

$0 \le H(p) \le \log n$

当随机变量只取两个值，例如1，0时，X的分布为：

$P(X=1)=p$, $\;\;\;\;\;P(X=0)=1-p$, $\;\;\;\;\;0 \le p\le 1$

熵为：

$H(p)=-plog_2p-(1-p)log_2(1-p)$

这时，熵$H(p)$随概率p的变化曲线如图(单位为bit)：