周志华西瓜书-第二天阅读-模型评估

谈一谈模型评估

可以分为两类，一类对于回归问题，常常采用：
均方误差(Mean Squared Error)：

平均绝对误差(Mean Absolute Error ):

另一类对于分类问题，常常采用：

ROC 与AUC

ROC 全称是"受试者工作特征" (Receiver Operating Characteristic) 曲线，而AUC则是指Area Under ROC Curve，即ROC曲线下的面积。进行学习器的比较时， 若一个学习器的ROC 曲线被另一个学习器的曲线完全"包住"， 则可断言后者的性能优于前者;若两个学习器的ROC 曲线发生交叉，则难以-般性地断言两者孰优孰劣. 此时如果一定要进行比较， 则较为合理的判据是比较ROC 曲线下的面积，即AUC (Area UnderROC Curve) 。

代价敏感错误率与代价曲线

在现实任务中常会遇到这样的情况:不同类型的错误所造成的后果不同.例如在医疗诊断中，错误地把患者诊断为健康人与错误地把健康人诊断为患者，看起来都是犯了"一次错误"但后者的影响是增加了进→步检查的麻烦，前者的后果却可能是丧失了拯救生命的最佳时机;再如，门禁系统错误地把口J通行人员拦在门外，将使得用户体验不佳，但错误地把陌生人放进门内，则会造成严重的安全事故.

为权衡不同类型错误所造成的不同损失，可为错误赋予"非均等代价" (unequa1 cost).以二分类任务为例，我们可根据任务的领域知识设定一个"代价矩阵" (cost matrix) ，如表2.2 所示，其中costij 表示将第i 类样本预测为第j 类样本的代价.一般来说， costii = 0; 若将第0 类判别为第1 类所造成的损失更大，则cost01 > costlO; 损失程度相差越大， cost01 与costlO 值的差别越大.

需要注意的一点，前面的ROC和AUC曲线都是默认在均等代价的条件下直接以次数作为错误率的衡量标准，而这个代价敏感错误率适用于非均等代价的情况。