复杂产品表面缺陷检测–基础知识笔记（v1.0）

1 评价指标

1.1 常用评价指标

		实际
		1	0
预测	1	TP	FP
	0	FN	TN

TP：预测为1，实际为1，预测正确
FP：预测为1，实际为0，预测错误
FN：预测为0，实际为1，预测错误
TN：预测为0，实际为0，预测正确
即：T、N表示预测是否正确，P、N表示预测值
因此，$TP+FP$即预测为1的总数，$TP+FN$即实际为1的总数,$FP+TN$即实际为0的总数。

1.1.1 准确率-Accuracy

$$Accuracy=\frac{TP+TN}{TP+TN+FP+FN}$$
作用：判断总的正确率。
优缺点：样本不平衡情况下，有局限性。
举例说明：数据集中，正样本占比0.95，负样本占比0.05。此时若将全部样本都预测为正样本，即可得到95%的正确率，这并不合理。

1.1.2 精确率-Precision

$$Precision=\frac{TP}{TP+FP}$$
$TP$表示预测正确的正样本结果
$TP+FP$表示所有预测的正样本结果
即：在预测为正样本的结果中，有多少结果预测正确了。
精确率针对正样本，准确率则包括正负样本。

1.1.3 召回率-Recall

$$Recall=\frac{TP}{TP+FN}$$
$TP$表示预测正确的正样本结果
$TP+FN$表示预测为正样本（P），预测正确（T）和预测为负样本（N），预测错误（F，那么该样本实际为正样本）。即为1的样本总数。
因此，召回率表示实际所有的正样本中被预测为正样本的概率。

1.1.4 F1-score

$$Recall=\frac{2\cdot Precision\cdot Recall}{Precision+Recall}$$
F1分数同时考虑了Precision 和Recall，兼顾两者，取一个平衡。

1.2 新理解的评价指标

灵敏度：
$$Sensitivity=Recall=\frac{TP}{TP+FN}$$
特异度：特异度表示实际为负样本，正确的预测为负样本的概率。
$$Specificity=\frac{TN}{FP+TN}$$
真正率：
$$TPR=Sensitivity=Recall=\frac{TP}{TP+FN}$$
假正率：
$$FPR=1-Specificity=1-\frac{TN}{FP+TN}=\frac{FP}{FP+TN}$$
继续举例：总样本中，95%是正样本，5%是负样本。用准确率有水分。
真正率只关注95%正样本中有多少是被真正覆盖的，而与那5%毫无关系。
假正率只关注5%负样本中有多少是被错误覆盖的，也与那95%毫无关系。
以上可以避免样本不平衡的问题，真正率和假正率因此作为ROC/AUC的指标。案例来源

1.2.1 ROC

ROC（Receiver Operating Characteristic，接受者操作特征）曲线，基于混淆矩阵得出。最早应用于雷达信号检测领域，用于区分信号与噪声。后来用于评价模型的预测能力。

ROC曲线通过遍历所有阈值来绘制整条曲线。
FPR表示模型虚报的响应程度，而TPR表示模型预测响应的覆盖程度。
我们希望：虚报的越少越好，覆盖的越多越好。即真正率越高，同时假正率越低（即ROC曲线越陡），那么模型的性能就越好。ROC曲线也无视样本不平衡。

1.2.2 AUC

ROC也会计曲线下的面积，叫做AUC。