AUC的计算、物理意义，

原创已于 2023-07-24 17:10:36 修改 · 1.3k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #算法 #概率论

于 2022-07-09 00:36:01 首次发布

AI调参侠同时被 2 个专栏收录

8 篇文章

订阅专栏

推荐系统

2 篇文章

订阅专栏

本文详细介绍了ROC曲线下的面积（AUC）的概念，包括其定义、性质和计算方法。AUC衡量了模型区分正负样本的能力，不受样本比例影响。文章提供了四种计算AUC的方法，包括直接计算曲线下面积、遍历所有样本对、排序优化以及工业场景下的并行计算优化。通过积分推导证明了AUC表示正负样本预测分数比较的概率。

文章目录

一、定义

ROC曲线与坐标轴围成的面积。ROC曲线由不同阈值下，TPR（Y轴）与FPR（X轴）两个指标绘制而成。

二、性质

体现排序的优劣，AUC的物理意义是从测试集中任选一个正样本，再任选一个负样本，模型对正样本预测分值大于负样本的概率。
理论上不受**、验证/测试**集中正负样本比例的影响。

三、计算

3.1 方法一（根据定义）

按照定义，绘制ROC曲线，计算曲线下面积，计算较复杂。

3.2 方法二（根据意义）

按照AUC性质1，遍历所有的正负样本对，计算其中正样本分数大于负样本分数的样本对的比例。
复杂度为 $O(n^2)$

3.3 方法三（方法二优化）

方法二的优化，先对所有的预测样本按照预测分数从小到大排序，依次遍历所有正样本，计算排在每个正样本之前的负样本数量的和。即：
$C=\frac{\sum_{i \varepsilon \text { positiveClass }} \operatorname{rank} _{i}-\frac{\operatorname P(1+\operatorname P)}{2}}{\operatorname P \times \operatorname N}$
其中， $\operatorname P$ 为正样本数量， $\operatorname N$ 为负样本数量， $rank_i$ 为第 $i$ 个正样本前面有多少个样本， $i$ 从1开始计。
复杂度为排序阶段的 $O(n\log n)$ 。

3.4 方法四（工业场景）

涉及分桶、并行等，将方法三中的排序算法改为可并行的分桶排序即可。此外还可以近似将落到同一个桶中的分数视为相同值，从而进一步提高计算效率，但会损失一定精度。

四、物理意义推导

为什么AUC表示任选一个正样本，再任选一个负样本，正样本预测分数大于负样本的概率?

证明思路为根据AUC定义，使用积分求ROC曲线下面积，对积分进行展开即可。
$\begin{aligned} AUC&=\int_0^1\operatorname{TPR}d_{\operatorname{FPR}}\\ &=\int_0^1\frac{\operatorname{TP}}{\operatorname{P}}d\frac{\operatorname{FP}}{\operatorname N}\\\\ &=\frac{\sum_{i=0}^{\operatorname N-1}\operatorname{TP}_{\operatorname{FP}=i}}{\operatorname P\times \operatorname N}\\ &=\frac{\sum_{i \varepsilon \text { positiveClass }} \operatorname{rank} _{i}-\frac{\operatorname P(1+\operatorname P)}{2}}{\operatorname P \times \operatorname N} \end{aligned}$
式中，第二行的积分，将自变量FPR换元为FP，积分转化为第三行中区间0到N-1之间的离散函数求和。
第三行分母表示所有(正，负)样本对数量，分子为其中正样本预测分数大于负样本预测分数的样本对数量（对所有样本按照预测分数排序后，依次从大到小遍历FP样本对应的分数作为阈值，计算该阈值对应的TP进行求和）。