【机器学习】损失函数

一、损失函数（Loss function）

损失函数是用来估量你模型的预测值 f(x)与真实值 Y 的不一致程度。

它是一个非负实值函数，通常用 来表示。损失函数越小，模型的鲁棒性就越好。

损失函数是经验风险函数的核心部分，也是结构风险函数的重要组成部分。

模型的风险结构包括了风险项和正则项，通常如下所示：

 

其中，前面的均值函数表示的是经验风险函数，L代表的是损失函数，后面的 Φ是正则化项（regularizer）或者叫惩罚项（penalty term），它可以是L1，也可以是L2，或者其他的正则函数。整个式子表示的意思是找到使目标函数最小时的θ值。
二、常见的损失误差 
1. 铰链损失（Hinge Loss）：主要用于支持向量机（SVM） 中； 
2. 互熵损失 （Cross Entropy Loss，Softmax Loss ）：用于Logistic 回归与Softmax 分类中； 
3. 平方损失（Square Loss）：主要是最小二乘法（OLS）中； 
4. 指数损失（Exponential Loss） ：主要用于Adaboost 集成学习算法中； 
5. 其他损失（如0-1损失，绝对值损失）