机器学习的模型评估

原创

已于 2023-03-22 12:25:24 修改 · 1.8k 阅读

CC 4.0 BY-SA版权

文章标签：

于 2023-03-22 11:02:59 首次发布

本文介绍了机器学习模型评估的重要概念，包括模型优缺点、误差偏差和方差、过拟合与欠拟合的解决办法。重点讨论了K折交叉验证、混淆矩阵、PR曲线和ROC曲线，及其在类别不平衡问题中的应用，帮助读者深入理解模型性能评估的关键指标。

模型评估

模型分为分类模型和回归模型

类别	评估方法	简介
分类模型	准确率（Accuracy）	预测正确的样本数占总样本数的比例
	精确率（Precision）	预测为正例的样本中实际为正例的比例
	召回率（Recall）	实际为正例的样本中被预测为正例的比例
	F1-Score	精确率和召回率的调和平均数
	ROC曲线和AUC值	用于衡量二分类模型的性能，AUC值越接近1，分类器性能越好
	PR曲线和AP值	用于衡量二分类模型的性能，AP值越接近1，分类器性能越好
	混淆矩阵（Confusion Matrix）	用于展示分类器分类结果的统计表格
回归模型	均方误差（MSE）	预测值与真实值之间差值的平方和的平均值
	均方根误差（RMSE）	MSE 的平方根
	平均绝对误差（MAE）	预测值与真实值之间差值的绝对值的平均值
	R²（R-Squared）	回归模型的拟合优度评估方法，取值范围0到1，越接近1代表模型的拟合效果越好
	相对平均误差（RAE）	MAE 的一种标准化指标，表示预测值与真实值之间差值的平均值占真实值的比例
	相对平方误差（RSE）	MSE 的一种标准化指标，表示预测值与真实值之间差值的平方和占真实值平方和的比例
	交叉验证	将数据集分为训练集和测试集，用于评估模型性能的方法，包括K折交叉验证和留一交叉验证

假正例（False Positive，FP）
是指在分类预测中，
某个样本实际上属于负例（反例），
但被模型预测成了正例（正例）。
简单来说，就是原本应该判断为负的样本，
却被错误地判断为正的情况。

评估方法	优点	缺点
准确率（Accuracy）	直观、易于理解，适用于类别均衡的情况	对于类别不平衡的数据，准确率可能无法反映模型的真实性能
精确率（Precision）	关注预测为正例的样本中实际为正例的比例，适用于关注假正例的场景	不关注假反例，可能在某些场景中不够全面
召回率（Recall）	关注实际为正例的样本中被预测为正例的比例，适用于关注假反例的场景	不关注假正例，可能在某些场景中不够全面
F1-Score	综合考虑精确率和召回率，适用于关注精确率和召回率平衡的场景