【面试总结】损失函数

损失函数

0-1损失

$$L(Y,f(X))=\{\begin{array}{ll}1,& Y\ne f(X)\\ 0,& Y=f(X)\end{array}$$

• 直接对应分类判断错误的个数，但是是一个非凸函数，不太好用
• 感知机使用的就是这种损失函数，但是严格相等过于严格，可以卡一个阈值：$$L(Y,f(X))=\{\begin{array}{ll}1,& |Y-f(X)|>=T\\ 0,& |Y-f(X)|<T\end{array}$$

绝对值损失

$$L(Y,f(X))=|Y-f(X)|$$

对数损失

$$L(Y,P(Y|X))=-log(P(Y|X))$$

• 能很好的表征概率分布，在很多场景，尤其是多分类的情况，能知道属于某一个类别的置信度
• 逻辑回归LR的损失函数就是log对数损失

平方损失

$$L(Y,f(X))=\sum _N(Y-f(X){)}^2$$

• 通常用于回归问题

指数损失

$$L(Y,f(X))=exp(-yf(x))$$

• 对异常点，噪声非常敏感

Hinge损失（合页损失）

$$L(y,f(x))=max(0,1-yf(x))$$

• 如果分类正确，损失为0，否则损失为$1-yf(x)$，这也是SVM使用的损失函数
  • y∈{−1,1}y\in\{-1,1\}y∈{−1,1}，分类错误时损失实际上是$1+|f(x)|$
• 对异常点不敏感，没有概率解释

感知损失函数

$$L(y,f(x))=max(0,-f(x))$$

• 是合页损失的一个变种，并不是最大化边界距离，所以模型泛化能力不强
• 可以理解为什么这也是一种合页损失，因为从图上看，都是一个折线，看着像一个合页，所以。。。

交叉熵损失

$$L=-\frac{1}{n}\sum _x[yln(p)+(1-y)ln(1-p)]$$

• 上式是一个二分类的交叉熵，y∈{0,1}y\in\{0, 1\}y∈{0,1}，$p=p(y|x)$是模型预测属于类别$y$的概率
• 多分类的loss函数如下，本质上和上式是一样的：$$loss=-\frac{1}{n}\sum _i{y}_{i}ln(p_i)$$
• 使用交叉熵的优势：
  • 当激活函数是sigmoid函数的时候：交叉熵能够解决平方误差函数更新权重过慢的问题，误差越大，权重更新越快，误差越小，权重更新慢，这个性质非常好
  • 简单推导:
  • $$\sigma (x)=\frac{1}{1+e^{-x}}$$
  • $${\sigma }^{\prime }=\sigma \ast (1-\sigma )$$
  • 交叉熵的倒数(激活函数是$\sigma$)：$$loss(y,f(x))=-\frac{1}{n}\sum _i{y}_{i}ln(f(x_i))$$
    $$\begin{array}{rl}\frac{\partial loss}{\partial w}& =\frac{\partial loss}{\partial f(x)}\frac{\partial f(x)}{\partial w}=-\frac{1}{n}\sum _i{y}_i\frac{1}{f(w{x}_i)}\frac{\partial f(w{x}_i)}{\partial w}\\ & =-\frac{1}{n}\sum _i{y}_i\frac{1}{\sigma (w{x}_i)}\frac{\partial \sigma (w{x}_i)}{\partial w}\\ & =-\frac{1}{n}\sum _i{y}_i\frac{1}{\sigma (w{x}_i)}(\sigma (w{x}_i)(1-\sigma (w{x}_i)))\\ & =-\frac{1}{n}\sum _i{y}_i(1-\sigma (w{x}_i))\\ & =\frac{1}{n}\sum _i(f(w{x}_i)-y_i))\end{array}$$
  • 均方差的倒数(激活函数是$\sigma$):$$loss(y,f(x))=\frac{1}{2n}\sum _i(y_i-f(x_i){)}^2$$
  • $$\begin{array}{rl}\frac{\partial loss}{\partial w}& =\frac{\partial loss}{\partial f(x)}\frac{\partial f(x)}{\partial w}\\ & =\frac{1}{n}\sum _i(y_i-f(w{x}_i))\frac{\partial f(w{x}_i)}{\partial w}\\ & =\frac{1}{n}\sum _i(y_i-\sigma (w{x}_i))(\sigma (w{x}_i)(1-\sigma (w{x}_i)))\end{array}$$

• 从均方差和交叉熵的损失函数的倒数的推导来看：
  • 均方差损失，其激活函数的倒数项是无法消掉的，那么当使用sigmoid 激活函数的时候，倒数项一直存在，而sigmoid的倒数项只有在接近0的时候才稍微比较大一点，其余的地方的倒数都是接近0的值，这会导致权重w更新缓慢
  • 交叉熵损失，在使用sigmoid做为激活函数的时候，可以看到，误差越大梯度越大，那么权重w更新越快，性质非常良好
  • 注意这里指的是使用了sigmoid作为激活函数，如果采用了其他的激活函数，并不保证有这样好的性质

参考资料

• https://zhuanlan.zhihu.com/p/58883095