10、不平衡数据集的评估指标与交叉验证方法

不平衡数据集的评估指标与交叉验证方法

1. 概率预测评估指标

在某些分类预测建模问题中，概率预测是必不可少的。下面将介绍两种常用的评估概率预测的指标：对数损失（Log Loss）和布里尔分数（Brier Score）。

1.1 对数损失（Log Loss）

对数损失用于量化预测概率分布与预期概率分布之间的平均差异。它衡量了模型预测的概率分布与真实标签的概率分布之间的不一致程度。对数损失越小，说明模型的预测越接近真实情况。

1.2 布里尔分数（Brier Score）

布里尔分数用于量化预测概率与预期概率之间的平均差异。它是预测概率与真实标签之间的均方误差，取值范围在 0 到 1 之间，分数越接近 0 表示预测越准确。

1.3 布里尔技能分数（Brier Skill Score，BSS）

布里尔技能分数是一种评估概率预测的指标，它通过与参考预测进行比较，衡量模型预测的技能水平。BSS 的计算公式为：

# calculate skill score
return 1.0 - (bs / brier_ref)

以下是一个计算不同朴素预测模型的布里尔技能分数的示例代码：

from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.m