AI算法测试基础

一、算法模型召回率、准召率、准确率概述

缩写	全称	核心含义	简单解释
​TP​	True Positive（真正例）	​预测正确，且预测为正例​	模型正确预测出的正例。例如，患者确实生病，模型也判断为生病 。
​TN​	True Negative（真负例）	​预测正确，且预测为负例​	模型正确预测出的负例。例如，健康人确实健康，模型也判断为健康 。
​FP​	False Positive（假正例）	​预测错误，将负例预测为正例​	模型错误发出的正例警报​（误报）。例如，健康人被模型误判为生病 。
​FN​	False Negative（假负例）	​预测错误，将正例预测为负例​	模型错误放过的正例​（漏报）。例如，患者被模型漏判为健康

可以这样来记忆

• 第二个字母（P/N）代表模型的预测结果​（Positive-正例 / Negative-负例）。

• 第一个字母（T/F）代表这个预测结果是正确还是错误​（True-正确 / False-错误）。

所以，FP就是：模型预测为Positive，但这个预测是False（错误的）。

二、计算公式

• ​准确率​：衡量模型整体预测的正确率，公式为 (TP + TN) / (TP + TN + FP + FN)。但当数据不平衡时，它可能产生误导。

• ​精确率​：关注模型预测出的正例有多“准”，公式为 TP / (TP + FP)。它衡量的是“宁可错杀，不可错放”中的“准确性”。

• ​召回率​：关注实际的正例有多少被“找回来”了，公式为 TP / (TP + FN)。它衡量的是“宁可错杀，不可错放”中的“查全”能力

三、综合评估指标：F1分数

由于召回率和精确率需要权衡，人们引入了 ​F1分数​ 来寻求一个平衡点。F1分数是召回率和精确率的调和平均数，当两者都较高时，F1分数才会高。

它的计算公式是：

F1 = 2 * (精确率 * 召回率) / (精确率 + 召回率)

当你需要一个单一的指标来综合评估模型性能，并且希望同时兼顾精确率和召回率时，F1分数是一个非常实用的选择

四、ROC曲线、AUC含义

ROC曲线（Receiver Operating Characteristic Curve，受试者操作特征曲线）是一种图形化工具，用于展示二分类模型在不同分类阈值下真正例率（True Positive Rate, TPR）​​ 与假正例率（False Positive Rate, FPR）​​ 之间的权衡关系。

• ​基本构成​：

  • ​纵轴（TPR）​​：也称为灵敏度（Sensitivity）​​ 或召回率（Recall）​。计算公式为：TPR=TP+FNTP​。它表示实际为正例的样本中被模型正确识别出来的比例。例如，在疾病检测中，TPR越高意味着漏诊的病人越少。

  • ​横轴（FPR）​​：计算公式为：FPR=FP+TNFP​。它表示实际为负例的样本中被模型错误判断为正例的比例。例如，在垃圾邮件过滤中，FPR越高意味着正常邮件被误判为垃圾邮件的风险越大。

OC曲线上的点	对应的分类阈值设定	模型决策结果	该点是否代表模型完美？
​左上角 (0, 1)​​	​​“黄金阈值”​​：能完全区分正负样本的阈值	所有正例被召回，且无负例被误判	​是，这是完美模型的表现点
​右下角 (1, 0)​​	一个完全错误的阈值（所有预测反着看就完美）	所有负例判对，但所有正例漏判	否，但预示模型有潜在价值（反向判断即可）
​右上角 (1, 1)​​	​阈值极低​：所有样本都被判为正例	所有正例被召回，但所有负例也被误判	​