机器学习算法（一）模型评估_模型评估算法-优快云博客

本文详细介绍了机器学习模型评估的基本原则，包括训练误差与测试误差的概念。探讨了留出法、p次k折交叉验证法及自助法等实验方法，并阐述了回归与分类任务中常用的评价指标，如MAE、MSE、精度、recall、F值、ROC与AUC等，以及如何绘制PR曲线和ROC曲线。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

原则

训练误差小，测试误差（泛化误差的近似，即在新样本上的误差）小

实验方法

1. 留出法：划分训练集与测试集（训练集约占2/3~4/5）

（1）保证训练集测试集类别比例相似；

（2）多次随机划分，重复实验取平均值

2. p次k折交叉验证法：

（1）划分数据集为k个子集，每次训练k-1个子集，测试剩下的子集

（2）p次划分，重复实验取平均值

3. 自助法：有放回从数据集中得到训练集，训练集中会有重复样本，常用于数据集较小

评价指标

1. 回归

1）MAE（mean absolute error）

$MAE(y,\hat{y})=\frac{1}{n}\sum_{i=1}^{n}\left | y_{i}-\hat{y_{i}}\right |$

2）MAPE（mean absolute percentage error）

$MAPE(y,\hat{y})=\frac{1}{n}\sum_{i=1}^{n}\frac{\left | y_{i}-\hat{y_{i}}\right |}{\left | y_{i} \right |}$

3）MSE（mean squared error）

$MSE(y,\hat{y})=\frac{1}{n}\sum_{i=1}^{n}\left ( y_{i}-\hat{y_{i}}\right )^{2}$

2. 分类

1）错误率与精度

错误率：分类错误的样本数占样本总数的比例

精度：分类正确的样本数占样本总数的比例

2）precision、recall、F

若更重视 "查准率" ，则可选择排序中靠前的位置进行截断；若更重视 "查全率" ，则可选择靠后的位置进行截断

3）ROC与AUC

ROC曲线纵轴是recall，横坐标为FPR（即实际是负样本却预测为正样本的样本比例）

ROC面积是AUC，越接近于（0，1），模型越好

4）绘制PR曲线和ROC曲线方法