目标函数（Objective Function）、损失函数（Loss Function）与代价函数（Cost Function）

最新推荐文章于 2023-11-20 15:30:13 发布

shadowismine

最新推荐文章于 2023-11-20 15:30:13 发布

阅读量4.5k

点赞数 3

分类专栏：深度学习技巧文章标签：机器学习深度学习 python

本文链接：https://blog.youkuaiyun.com/shadowismine/article/details/134050717

版权

深度学习技巧专栏收录该内容

8 篇文章

订阅专栏

目标函数（Objective Function）、损失函数（Loss Function）、代价函数（Cost Function）在某些情况下可以互换使用，本文将详细说明它们之间有什么区别。

Loss Function
损失函数（Loss Function）衡量了模型 f ff 对样本 x xx 的预测结果 $\hat y = f(x)$ 与真实标签 $y \equiv y ( x )$ 的距离。注意，损失函数的计算目标是单个样本 x。因此，大部分距离度量函数都能够作为损失函数，而选择不同的损失函数也有各自的优缺点。比如：

Square Loss：

$L_{square} (\hat{y},y)=(\hat{y}-y)^{2}$

Absolute Loss：

$L_{abs} (\hat{y},y)=\left | \hat{y}-y \right |$

Cost Function
代价函数（Cost Function）和损失函数（Loss Function）通常是一个意思，但有些作者对两者做出了明显的区分：损失函数的计算目标是单个样本 x，而代价函数的计算目标是一组样本。

假设 L 为损失函数，计算样本 x上的损失。那么代价函数则可以表示为整个训练/验证/测试集 $\mathcal{D} = \{ (x_i, y_i) \}_{i=1}^{n}$ 上所有样本的损失之和的平均值（Cost = mean Loss）：

$Cost(f,D)=\frac{1}{n}\sum_{i=1}^{n}L(\hat(y_{i}),y_{i})$

Mean Squared Error：

$MSE=\frac{1}{n}\sum_{i=1}^{n}L_{squared}(\hat{y_{i}},y_{i})=\frac{1}{n}\sum_{i=1}^{n}(\hat{y_{i}}-y_{i})^{2}$

Root-Mean-Square Error (RMSE)：

$MSE=\sqrt{\frac{1}{n}\sum_{i=1}^{n}(\hat{y_{i}}-y_{i})^{2}}$

Objective Function

在模型训练过程中，我们想要 Loss（Cost）值尽可能低，但是在训练集上的 low loss (cost) 不是唯一追求的目标。我们更关心的是模型的泛化能力，也就是在验证/测试集上的表现。为了避免模型对训练集的过拟合，我们通常会加一个正则化项（regularization term）来惩罚模型的复杂度，此时我们想要最小化的函数就变成了：

$\mathbb{E} = Cost(f, \mathcal{D}) + Regularizer(f)$