模型的评估

• 一些基本概念：

错误率：如果在m个样本中有a个样本分类错误，那么错误率=a/m

精度：1-错误率

误差：实际预测输出与样本的真实输出之间的差异

训练误差/经验误差：学习器在训练集上的误差，在很多情况下，我们都可以学得一个经验误差很小，在训练集上表现很好的学习器

泛化误差：在新样本上的误差，我们希望得到的是一个泛化误差很小的学习器，但这点不能通过训练误差来保证

过拟合：训练误差很小但是泛化误差很大，换而言之，在训练过程中表现很好但是在遇到新样本的时候表现很差。这是因为当学习器把训练样本觉得‘太过’了的时候，很可能把训练样本本身的一些特点当成了普遍规律，这样就会导致泛化性能变差。过拟合不太容易克服，或者说是无法彻底避免的

欠拟合：对训练样本的一般性质未能学好，欠拟合比较容易克服，例如增加模型复杂度，增加训练轮数等

• 性能度量：

错误率和精度虽然常用，但是并不能评估所有的问题。比如老板给了你一个关于癌症检测的数据集，你构建了一个二分类，器然后计算了准确率，为98%， 这个模型是否就是个好模型? 在数据中，癌症的比例本身就很小，比如只有2%,那么我的分类器一概地把数据预测为不患癌症，这样算起来准确率也有98%。在癌症检测中，我们更关心的是所有癌症患者中有多少被挑了出来，所以按照错误率或者精度来评估是不够的。
说到这里，就引出了查准率，查全率和F1
我们以二分类为例，来看看上面几个概念分别代表什么意思。在二分类问题中，可以根据预测类别和真实类别的比较将结果分为真正例，假正例，假反例和真反例。
查准率 = 真正例/（真正例+假正例），即所有被预测为正例的例子中真正的正例有多少
查全率 = 真正例/（真正例+假反例），即所有真实的为正例的例子中有多少真正的正例被挑选出来
F1 = 2查准率查全率/（查准率+查全率），综合查全率和查准率的指标
在不同的情况下，我们对于查准率和查全率的重视情况不同，比如在商品推荐中，查准率更重要，因为不希望出现打扰用户的信息；而在逃犯信息检索系统中，希望找到所有的逃犯，那么查全率更重要。我们可以对F1的公式中加一个参数，使其对查全率或者查准率有一些偏好。