交叉熵下的模型评估，auc还是loss？

最新推荐文章于 2024-12-08 00:05:37 发布

段广东

最新推荐文章于 2024-12-08 00:05:37 发布

阅读量603

点赞数

分类专栏：机器学习文章标签：人工智能

本文链接：https://blog.youkuaiyun.com/d541941799/article/details/124909200

版权

机器学习专栏收录该内容

4 篇文章

订阅专栏

在模型评估中，AUC和Loss是两个关键指标。当两者趋势不一致时，若训练和测试集分布一致，应关注Loss；反之，分布不一致时，应重视AUC。训练集和测试集的分布一致性可通过比较标签比例来判断。选择指标应依据数据特性，确保模型在目标分布上的性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

    评估模型的好坏我们经常使用2个指标，auc和loss。但是有的时候我们发现auc和loss趋势并不是一致的，比如loss下降，auc也下降，那当loss和auc趋势不一致时到底应该以哪个指标为准呢？我的经验是，如果测试集和训练集的分布是一致的，那应该以loss为准，因为模型本身优化的就是loss最低，所以从这个角度看，loss低意味着模型优化的方向是对的，auc低大概率也只是暂时在这部分测试集的表现。但是如果训练集和测试的分布不一致，或者分布差异较大，这个时候则需要以auc为准，因为这个时候的loss其实带有了较大的系统误差，比如预估值整体左偏或者右偏，直观表现就是pcoc会显著偏离1。那如何判断训练集和测试集的分布是否一致呢？最简单的方法，直接统计label中每种类型的比例，如果训练集和测试集相差不大，说明分布差异较小。