深刻理解机器学习的: 目标函数，损失函数和代价函数

对于目标函数，损失函数和代价函数，重要的是理解。

基本概念：
在机器学习中，对于目标函数、损失函数、代价函数等不同书上有不同的定义。这里取如下定义
损失函数：计算的是一个样本的误差
代价函数：是整个训练集上所有样本误差的平均
目标函数：代价函数 + 正则化项

理解之间的差异
为了方便理解，现举例说明:

上面三个图的曲线函数依次为$f1(x),f2(x),f3(x)$，图中的 x 代表样本数据点，蓝线代表用来拟合数据点的函数，这三个函数分别来拟合同一批样本数据点。我们给定x，这三个函数都会输出对应的一个$f(x)$，这个输出的$f(x)$与真实值Y可能是相同的，也可能是不同的，为了表示我们拟合的好坏，我们就用一个函数来度量拟合的程度。这个函数就称为损失函数(loss function)，或者叫代价函数(cost function).

L ( y , f ( x ) ) = (