机器学习笔记入门 （二）

假设空间

所以还是拿100个西瓜举例。

归纳学习：上一节说了训练学习的目的，是为了训练出一个模型能帮助我们在不剖开瓜的情况下进行预测它是不是好瓜。而训练学习的过程是通过一个又一个已经剖开的西瓜（也就是已经知道是不是好瓜）的样例进行学得的，从样例中学习显然是一个归纳的过程，称之为归纳学习。

比如这样一个训练集：

编号	色泽	根蒂	敲声	好瓜
1	青绿	蜷缩	浊响	是
2	乌黑	蜷缩	浊响	是
3	青绿	硬挺	清脆	否
4	乌黑	蜷缩	沉闷	否

假设色泽，根蒂和敲声就可以确定是否是好瓜，那么，通过表就可以确定只要根蒂是蜷缩，敲声是浊响就是好瓜。但问题是如果是（色泽=浅白，根蒂=蜷缩，敲声=浊响）这样的样例怎么判断呢，所以学习还要有一个泛化的能力。我个人觉得计算机是没有泛化能力的，因此其实这里所谓的泛化其实还是一个匹配为内核的能力。

假设空间：按照上面的说法，假设空间就是指的所有可能的情况，对西瓜这个问题，即色泽三种取值，根蒂三种取值，敲声三种取值，因为它们的取值对结果是有影响的（没有影响也是一种影响），因此对学习的过程一定会囊括所有的情况，像是挨个扫描一遍， 假设空间与版本空间详解。

错误率：错误的样本数占样本总数的比例
精度：1 - 错误率，正确的样本数占样本总数的比例
训练误差：模型实际预测输出与样本的真实输出之间的差异称为训练误差
泛化误差：在新样本上的误差为泛化误差
过拟合：模型对训练样本学习得太好，以至于把训练样本的一些独有特性当做所有样本的特性学到，最终导致泛化性能下降，称为过拟合
欠拟合：就是对训练样本还没有学到其一般性质
测试集：用来测试模型对新样本的判别能力，然后以测试误差作为泛化误差的近似
留出法：将总的测试集划分为两个集合，用其中一个集合训练出模型，用另一个集合测试误差
分层采样：比如对1000个样本进行分层采样，划分为700个作为训练集，300个作为测试集，如果这1000个中500个正例500个反例，那么训练集应该有350个正例350个反例，测试集应该包含150个正例150个反例，即，保留类别比例的采样方式通常称为分层采样
交叉验证法：把数据集通过分层采样分为k个大小相似的子集，设k=10，接下来把第一个子集作为测试集，其余9个作为训练集进行训练与测试一轮得出测试结果；然后把第二个子集作为测试集，其余9个作为训练集进行训练与测试一轮得出测试结果；周而复始10次，这样会得到10个测试结果，然后取这个10个结果的均值作为整个的测试结果。
自助法：给定包含m个样本的数据集D和空集E，每次随机从D中拷贝一份样本放入E中，重复m次，E就会有m个样本，而结果可以预见，D中肯定会有数据在E中出现多次，而也会有一些数据E中根本没有，而这些没有出现在E集合中的数据就被用于测试，其测试结果就称为包外估计

---

性能度量：对机器学习的泛化性能进行评估，不仅需要有效可行的实验估计方法，还需要有横梁模型泛化能力的评价标准，这就是性能度量。

错误率和精度
错误率和精度是用来度量西瓜是好瓜还是坏瓜这类目标的。

---

下面几个是用来度量另一类问题的。100个西瓜，假设其好瓜有30个，那么我们的模型对这100个西瓜进行预测，预测的结果是40个是好瓜，60个是坏瓜。

查准率，查全率
模型预测的40个好瓜中，假设其中真正的好瓜只有10个，那么查准率就是10/40 = 25%
模型预测的40个好瓜中，假设其中真正的好瓜只有10个，那么查全率就是10/30 = 33%
P- R图：依据查准率和查全率作为横轴和竖轴，它只是更加直观而已，本质还是一样。同时为平衡点服务，用于度量或比较模型的优劣。
平衡点 ：用于比较两个模型的能力。
F1：有的场景更倾向于使用查准，比如优质推送；有的场景更倾向于不要漏掉。因此，查准和查全在不同的场景就需要调整，而F1就是一个更方便的工具。
ROC和AUC：理解
代价敏感错误率和代价曲线：与上面的度量不同，这次引入了代价的概念，把西瓜判断错了，也就是损失了一个西瓜，如果是判断病症判断错了，代价会非常大，换句话说，模型在做实际场景的预测的时候，代价会作为一个影响因素加进到错误检验里来，也就是为错误赋予非均等代价。

代价曲线与前面的度量方式相比，它只是加了代价这个因素进来，是前面一些性能度量的延伸或特例，功能和目标都是一样的，性能度量。