9、Kaggle竞赛中的评估指标及应对策略

Kaggle竞赛中的评估指标及应对策略

1. Kaggle竞赛热门评估指标

在Kaggle竞赛中，有一些常用的评估指标，下面为你详细介绍：
- AUC和Log Loss ：这两个指标紧密相关，且都与二元概率分类问题有关。AUC指标用于衡量模型预测正例的概率是否较高；Log Loss则用于衡量预测概率与真实值之间的差距。优化Log Loss的同时，也会对AUC指标产生优化效果。
- MAP@{K} ：在推荐系统和搜索引擎中是常见的指标。在Kaggle竞赛里，它主要用于信息检索评估。例如在驼背鲸识别竞赛（https://www.kaggle.com/c/humpback-whale-identification）中，你需要准确识别鲸鱼，有五次猜测机会；在Quick, Draw! 涂鸦识别挑战（https://www.kaggle.com/c/quickdraw-doodle-recognition/）中，你的目标是猜测涂鸦内容，有三次尝试机会。使用MAP@{K}作为评估指标时，不仅看是否猜对，还看正确猜测是否在一定数量（函数名中的“K”）的错误预测之中。
- RMSLE和Quadratic Weighted Kappa ：RMSLE（Root Mean Squared Logarithmic Error）在排名第六的位置，是一种回归指标；Quadratic Weighted Kappa排名第七，对于涉及猜测渐进整数（序数尺度问题）的模型性能评估特别有用。

2. 应对从未见过的指标

2.1 识别从未见过的指标

在Ka