机器学习之目标函数，损失函数和代价函数

---

【前言】
这下函数是算法好坏的评价标准之一。
所讨论的事件是数据实例的估计值和真值之间的差异的一些函数。简而言之，就是用来评估预测值相对于真实值的损失情况。在某种参数的取值情况下，使得某代价函数的取值最小，这些参数也就是我们进行神经网络训练的目标。
以下关于损失函数和代价函数等的函数形式只是个例，并不唯一。

---

1.损失函数，代价函数，目标函数

函数名称	定义
损失函数（Loss Function ）	是定义在单个样本上的，算的是一个样本的误差
代价函数（Cost Function ）	是定义在整个训练集上的，是所有样本误差的平均，也就是损失函数的平均
目标函数（Object Function）	最终需要优化的函数。等于经验风险+结构风险（也就是Cost Function + 正则化项）

• 关于目标函数和代价函数的区别还有一种通俗的区别：
  目标函数是最大化或者最小化，而代价函数是最小化

2. 损失函数

损失函数又叫做误差函数，用来衡量算法的运行情况，Loss function:L(yhat,y).
我们通过这个 L称为的损失函数，来衡量预测输出值和实际值有多接近。一般我们用预 测值和实际值的平方差或者它们平方差的一半，但是通常在逻辑回归中我们不这么做，因为 当我们在学习逻辑回归参数的时候，会发现我们的优化目标不是凸