17、机器学习模型评估全解析

机器学习模型评估全解析

1. 模型评估的重要性与基础概念

在机器学习中，模型评估至关重要。相关副作用的分布会随时间快速变化，因此模型需要能够检测到分布的变化并相应地进行演变。模型的评估基于实时数据的性能，同时也会与历史数据测试和验证阶段使用的验证指标进行对比。如果模型在实时数据评估中的性能与预期相似或在可允许的阈值范围内，则认为该模型仍然适合数据；若模型性能下降，则表明模型不再适合数据，需要重新训练。此外，组织还应考虑当实时机器学习模型性能下降、变得不适用或在临床上不安全时所需采取的缓解措施。

2. 离线评估与在线评估

• 离线评估 ：基于历史的、静态的、分布式数据集所学习和评估的指标来衡量模型。常见的指标包括准确率和精确率 - 召回率等，常用的技术有保留法和 n 折交叉验证。
• 在线评估 ：指模型部署后对预测指标的评估。这些指标可能与模型训练和验证时使用的指标不同。例如，一个学习新药物治疗方法的模型在训练和验证时可能追求尽可能高的精确率，但在上线部署时，可能需要考虑预算或治疗价值等业务目标。评估指标必须结合用例来制定，以确保涵盖预期项目中的所有参与者。在线评估的好处在于支持多变量测试，通过专用的反馈循环实时了解表现最佳的模型。

反馈循环对于确保系统按预期运行以及更好地理解模型在实际应用中的情况至关重要，可以由人工代理、上下文智能代理或模型用户来执行。实时评估可以定期进行，使用生成的、之前见过的未标记数据子集，以将准确率保持在商定的容差阈值内。

3. 寻找统计独立的数据集

评估机器学习模型时，