机器学习中常见的损失函数

我们知道，在机器学习中的监督学习算法里，在假设空间中构造一个决策函数 f，对于给定的输入 X，相应的输出

image

与原先的预期值 Y 可能不一致。于是，我们需要定义一个损失函数（Loss Function）来度量这二者之间的“落差”。这个损失函数通常记作 L(Y,

image

)=L(Y,f(X ))，为了方便起见，这个函数的值为非负数。

常见的损失函数有如下四类。

1. 0-1 损失函数（0-1 Loss Function）：

    

   

   image

2. 绝对损失函数（Absolute Loss Function）：

L(Y, f(X)) =|Y - f(X)|

1. 平方损失函数（Quadratic Loss Function）：

L(Y, f(X)) =(Y - f(X))2

1. 对数损失函数（logarithmic Loss Function）：

L(Y, P(Y|X)) = -log P(Y|X)