机器学习(二) 模型评估与选择

错误率: 分类错误的样本数占样本总数的比例成为“错误率”。

精度 ： 精度 = 1 - 错误率。

泛化误差： 训练结果在新的测试集上的误差。

过拟合：训练将本身的一些特点当做了潜在的一般性质进行了学习。

欠拟合：对训练样本的一般性质尚未学好。

关于NP问题，机器学习面临的问题通常是NP难甚至是更难的问题，而有效的学习算法必须是多项式时间内的。若可彻底避免过拟合，则通过经验误差最小化就能获得最优解，这就意味着我们构造了“P = NP”，因此只要相信，“P ！= NP”过拟合问题就不可避免。

独立同分布：在概率统计理论中，如果变量序列或者其他随机变量有相同的概率分布，并且互相独立，那么这些随机变量是独立同分布。

随机变量X1和X2独立，是指X1的取值不影响X2的取值，X2的取值也不影响X1的取值.随机变量X1和X2同分布，意味着X1和X2具有相同的分布形状和相同的分布参数，对离散随机变量具有相同的分布律，对连续随机变量具有相同的概率密度函数，有着相同的分布函数，相同的期望、方差。反之，若随机变量X1和X2是同类型分布，且分布参数完全相同，则X1和X2完全一定同分布！

评估的方法：

留出法：直接将数据集D划分为两个互斥的集合，其中一个集合用来训练集S，另一个作为测试集T。当然采样的时候可以采用“分层采样的方法”。对于一般情况下，常见的做法是将大约2/3 ~ 4/5 的样本用来训练，剩下的用来测试。

交叉验证法：

现将数据D划分成k个大小相似的互斥子集，然后每次使用k-1个子集训练，剩下的子集用来作为测试集。这样做的有一个问题就是计算量瞬间变大。

自助法：

自助法直接以自助采样法为基础，每次从集合D中随机抽样获取一个样本，放入测试集中，然后重复M次，我们简单估计，始终不被采样得到的概率是（1 - 1/m）^m ,取极限得到1/e

大约是0.368。<