经典损失函数一览

损失函数(Loss Function)用来估量模型的预测值 $\hat{y}=f(x)$ 与真实值 $y$ 的不一致程度。这里做一个简单梳理，以备忘，原文见损失函数清单。

回归问题

常见的回归问题损失函数有绝对值损失、平方损失、Huber损失。

绝对值损失

又叫做L1损失。

$$L(y,\hat{y})=|y-\hat{y}|$$

$$MAE=\frac{1}{n}\sum _{i=1}^n|y-\hat{y}|$$

MAE一个问题是在 $y-\hat{y}=0$ 处不可导，优化比较困难。

平方损失

又称为L2损失。

$$L(y,\hat{y})=(y-\hat{y}{)}^2$$

$$MSE=\frac{1}{n}\sum _{i=1}^n(\hat{y}-y{)}^2$$

MSE一个问题是对异常点敏感，由于平方的存在，会放大对异常点的关注。

Huber损失

相当于是L1和L2损失的一个结合。

L δ ( y , y ^ ) = { 1 2 ( y − y ^