损失函数loss总结

What

在机器学习中，损失函数（loss function）是用来估量模型的预测值f(x)与真实值y的不一致程度。

常见的损失函数

回归任务

均方误差

一般最常用
$$E(f;D)=\frac{1}{m}\sum _{i=1}^m(f(x_i)-y_i{)}^2$$

补充

分类任务

交叉熵(cross entropy)

主要度量两个概率分布间的差异性信息。
给定两个概率分布：p（理想结果即正确标签向量）和q（一般为神经网络输出结果经过softmax转换后的结果向量）
softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内转换到q：
$$softmax(x_i)=\frac{e^{x_i}}{{\sum }_j{e}^{x_j}}$$
通过q来表示p的交叉熵为：
$$H(p,q)=-\sum _{i=1}^{m}p(x)\log q(x)$$
另外，它和信息熵很相似，但他们的本质有很大的不同
$$Ent(D)=-\sum _{k=1}^{|m|}{p}_k{\log }_2{p}_k$$
其中的向量元素代表各个类样本（m种）在总集合D中的比例，其值越小，D的纯度越高
（信息熵是信息论中用于度量信息量的一个概念。一个系统越是有序，信息熵就越低；反之，一个系统越是混乱，信息熵就越高。）

SVM损失

$$\underset{\mathbf{w},b}{\min }\frac{1}{2}||\mathbf{\omega }|{|}^2+\sum _{i=1}^m{\alpha }_i(1-y_i({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b))$$
拉格朗日子乘法
西瓜书P123

补充