机器学习测试集中正负样本的配比问题

最新推荐文章于 2025-06-26 15:06:08 发布

原创最新推荐文章于 2025-06-26 15:06:08 发布 · 6.4k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习

机器学习专栏收录该内容

2 篇文章

订阅专栏

探讨了在机器学习项目中，模型在不同正负样本配比下的表现差异，特别是在酒店异常订单识别任务中，模型在一比一配比训练集上的良好表现与真实样本配比下效果不佳的问题。分析了可能的原因，并提出了对模型评估标准的思考。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

涉及到问题的项目是通过机器学习识别酒店异常订单。我训练集是用的正负样本一比一的配比来训练模型的，测试集的效果在一比一的配比下表现很好（由于业务方需求，效果只关注模型预测为负样本中真实为负的占比），但是在真实的正负样本配比下表现很差（真实的正负样本配比来自于之前订单数据中的先验配比），请问这是什么原因呢？（我个人的猜想是由于真实场景中，异常数据的占比是很小的，所以有大量正样本杂糅在负样本中，导致模型在预测负样本时会把大量正样本预测错，从而导致上述的指标变低）
所以，一个模型的效果是按照一比一的配比来算，还是按照真实的正负样本配比来算？