机器学习—损失函数、代价函数、目标函数

一、损失函数（Loss Function）

定义在单个样本上，算的是一个样本的误差。比如：

二、代价函数（Cost Function）

代价函数（Cost Function）定义在整个训练集上，是所有样本误差的平均，也就是损失函数的平均，比如：

三、目标函数（Object Function）

目标函数（Object Function）是最终需要优化的函数。
即：经验风险+正则化项（Cost Function + Regularization）。

四、小结