Week 2: 深度学习补遗：评价指标

Week 2: 深度学习补遗：评价指标

绪论

本周修改了一下目标，将对一些理论方面进行夯实，对评价指标的数学理论以及实现方面进行探索。

1 深度学习

1.1 深度学习任务目标

• 分类（Classification）：分类任务的目标是根据输入的特征，将其分配到预定义的离散的类别中。可以是二分类（“是”、“否”），也可以是多分类（“苹果”、“香蕉”、“橙子”等）。输出离散的、有限的标签，例如0~9的手写数字识别，通常将输出10个在正负无穷开区间的浮点数，越大代表概率越高。因此可以用Softmax函数将其映射到$(0,1)$之间变成概率。Softmax的表达式为KaTeX parse error: {equation*} can be used only in display mode.，定义域为$(-\infty ,+\infty )$，值域为$(0,1)$。
• 回归（Regression）：回归任务的目标是根据输入特征找到一个连续数值，通常是一个特定范围内的浮点数。模型在回归任务中学习的是输入特征与输出特征之间的关系，以此做出准确的预测。典型的任务有预测房屋价格、天气温度或股票价格。

1.2 深度学习评价指标

1.2.1 分类任务评价指标

二分类任务下，预测结果将分为以下几类。

真实 \ 预测	正	反
正	True Positive, TP	False Positive, FP
反	False Negative, FN	True Nagative, TN

可见，后一位字母为预测值，预测为正则为P，预测为反则为N。而预测结果与真实值相同时前一位为T，预测结果不符时为F。

而多分类任务下，也同理，可将当前类别认为是正类，其余类别均认为为反类，也可以计算下述指标。

1.2.1.1 Accuracy 准确率

$$\begin{array}{c}Accurancy=\frac{TP+TN}{TP+FP+TN+FN}\end{array}$$

准确率，表示正确预测数量占总数的比例，他是最直观的评价指标之一。但在类别不平衡的情况下，准确率可能会给出误导性的结果。例如，在一个疾病诊断任务中，健康样本占比 99%，疾病样本占比 1%，即使模型将所有样本都预测为健康，准确率也能达到 99%，但实际上模型对疾病样本的预测能力为零。

1.2.1.2 Precision 精确率

$$\begin{array}{c}Precision=\frac{TP}{TP+FP}\end{array}$$

精确率也称为查准率，是指模型预测为正类的样本中，真正为正类的样本比例，精确率关注的是模型预测为正类的结果中有多少是正确的。在一些对误判正类有较高成本的场景中，如垃圾邮件分类，精确率尤为重要，因为将正常邮件误判为垃圾邮件会给用户带来较大的困扰。

1.2.1.3 Recall 召回率

$$\begin{array}{c}Recall=\frac{TP}{TP+FN}\end{array}$$

召回率也称为查全率，是指真实正类样本中，被模型正确预测为正类的样本比例。召回率衡量了模型找到所有正类样本的能力。在一些需要尽可能找到所有正类样本的场景中，如疾病筛查，召回率非常关键，因为漏诊一个患病患者可能会导致严重的后果。

1.2.1.4 F1 Score

$$\begin{array}{c}\text{F1 Score}=\frac{2\times \text{Precision}\times \text{Recall}}{\text{Precision}+\text{Recall}}\end{array}$$