【史上最全】一文搞定机器学习的模型评估

0. 数学约定

模型的“好坏”是相对的，取决于算法和数据，也取决于任务需求。
衡量模型的“好坏”的过程叫模型评估，也叫性能度量（performance measure）。

本篇数学约定如下：

• ${\mathbf{x}}_i$为样本向量
• $f$为模型
• $f(\mathbf{x})$为模型预测结果
• $y_i$为样本${\mathbf{x}}_i$对应的真实结果。
• $E(y_i)$表示结果集 { y i } \{y_i\} { yi​}的期望，$E(y_i)=\bar{y}=\frac{1}{n}{\sum }_{i=1}^n{y}_i$。
• $Var(y)$表示y的方差。$Var(y)=E((y_i-\bar{y}{)}^2)$

1. 回归型任务

简要总结如下：

评估法	函数	数学公式	说明
MSE	mean_squared_error	$$MSE=\frac{1}{n}\sum _{i=1}^n(f({\mathbf{x}}_i)-y_i{)}^2，n为样本量$$	MSE即预测误差的数学期望，是最常用的一个性能度量方法。
$R^2$	r2_score	$$R^2=1-\frac{{\sum }_{i=1}^n(f({\mathbf{x}}_i)-y_i{)}^2}{{\sum }_{i=1}^n(y_i-\bar{y}{)}^2}$$	【维基百科：】在统计学中用于度量应变数的变异中可由自变量解释部分所占的比例，以此来判断回归模型的解释力。
MAE	mean_absolute_error	$$MSE=\frac{1}{n}\sum _{i=1}^n|f({\mathbf{x}}_i)-y_i|$$
MSLE	mean_squared_log_error	$$MSLE=\frac{1}{n}\sum _{i=1}^n(lo{g}_e(1+f({\mathbf{x}}_i))-lo{g}_e(1+y_i){)}^2$$	该指标最适合用于具有指数增长的目标，例如人口数量、商品在几年内的平均销售额等。请注意，该指标对低估的估计值比高估的估计值的惩罚更大。
MAPE	mean_absolute_percentage_error	$$MAPE=\frac{1}{n}\sum _{i=1}^n\frac{|f({\mathbf{x}}_i)-y_i|}{\max (ϵ,|y_i|)}$$	MSLE会忽略小幅度值，只反映最高幅度值的预测误差。但是这个问题在 MAPE 的情况下得到了解决，因为它计算了相对于实际输出的相对百分比误差。
MedAE	median_absolute_error	$$MedAE=median(|f({\mathbf{x}}_1)-y_1|，|f({\mathbf{x}}_2)-y_2|,\cdots ,|f({\mathbf{x}}_n)-y_n|)$$	MedAE它对异常值具有鲁棒性。损失是通过取目标和预测之间的所有绝对差的中值来计算的。
MaxError	max_error	$$MaxError=\max (|f({\mathbf{x}}_i)-y_i|)$$
EVS	explained_variance_score	$$EVS=1-\frac{Var(y_i-f({\mathbf{x}}_i))}{Var(y_i)}$$	$EVS$和$R^2$得分之间的差异：$R^2$是当$EVS$不考虑预测中的系统偏移时的情况。出于这个原因，$R^2$通常应该是首选。
MTDE	mean_tweedie_deviance	M T D E = 1 n ∑ i = − 1 n { ( f ( x i ) − y ) 2 , p = 0 2 ( y i l o g ( y i f ( x i ) ) + f ( x i ) − y i ) , p = 1 2 ( l o g ( f ( x i ) y i ) + y i f ( x i ) − 1 ) , p = 2 2 ( max ⁡ ( y i , 0 ) 2 − p ( 1