损失函数总结

最新推荐文章于 2025-11-29 00:24:59 发布
原创 最新推荐文章于 2025-11-29 00:24:59 发布 · 573 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #损失函数 #代价函数 #目标函数

1.什么是损失函数
损失函数（loss function）是用来估量模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y, f(x))来表示，损失函数越小，模型认为性能就越好。


2.损失函数，代价函数和目标函数的区别
损失函数：计算的是一个样本的误差

代价函数：是整个训练集上所有样本误差的平均

目标函数：代价函数 + 正则化项

目标函数公式：
[img]http://dl2.iteye.com/upload/attachment/0129/8649/a9c443d3-a51f-3406-a5d7-87d7d3f157ba.jpg[/img]


3.损失函数种类及适用场景
3.1 0-1损失函数
0-1损失是指，预测值和目标值不相等为1，否则为0：

[img]http://dl2.iteye.com/upload/attachment/0129/8651/b0537ed5-7366-3042-9001-2995f677b985.jpg[/img]

感知机就是用的这种损失函数。但是由于相等这个条件太过严格，因此我们可以放宽条件，即满足 |Y−f(X)|<T|Y−f(X)|<T 时认为相等。


[img]http://dl2.iteye.com/upload/attachment/0129/8653/11e04601-372a-3e83-a245-962bde5c5015.jpg[/img]


3.2 log损失
在逻辑回归的推导中，它假设样本服从伯努利分布（0-1）分布，然后求得满足该分布的似然函数，接着用对数求极值。逻辑斯特回归并没有求对数似然函数的最大值，而是把极大化当做一个思想，进而推导它的风险函数为最小化的负的似然函数。从损失函数的角度上，它就成为了log损失函数。
log损失函数的标准形式：

[img]http://dl2.iteye.com/upload/attachment/0129/8656/b31964de-7085-32ec-802a-2acb515e20df.jpg[/img]

损失函数L(Y, P(Y|X))表达的是样本X在分类Y的情况下，使概率P(Y|X)达到最大值（换言之，就是利用已知的样本分布，找到最有可能（即最大概率）导致这种分布的参数值；或者说什么样的参数才能使我们观测到目前这组数据的概率最大）。因为log函数是单调递增的，所以logP(Y|X)也会达到最大值，因此在前面加上负号之后，最大化P(Y|X)就等价于最小化L了。

逻辑回归的P(Y=y|x)表达式如下（为了将类别标签y统一为1和0，下面将表达式分开表示）：

[img]http://dl2.iteye.com/upload/attachment/0129/8658/717041e7-f599-3bc2-8a71-558cfb837672.jpg[/img]

将它带入到上式，通过推导可以得到logistic的损失函数表达式，如下：

[img]http://dl2.iteye.com/upload/attachment/0129/8660/1a5e79b2-40bb-3087-999c-08322dd59172.jpg[/img]

逻辑回归最后得到的目标式子如下：

[img]http://dl2.iteye.com/upload/attachment/0129/8662/bdd00bbb-d2da-3c21-af27-e642dd6bcf8b.jpg[/img]

3.3 平方损失函数（最小二乘法, Ordinary Least Squares ）
在线性回归中，它假设样本和噪声都服从高斯分布（为什么假设成高斯分布呢？其实这里隐藏了一个小知识点，就是中心极限定理。最小二乘的基本原则是：最优拟合直线应该是使各点到回归直线的距离和最小的直线，即平方和最小。换言之，OLS是基于距离的，而这个距离就是我们用的最多的欧几里得距离。为什么它会选择使用欧式距离作为误差度量呢（即Mean squared error， MSE），主要有以下几个原因：

简单，计算方便；
欧氏距离是一种很好的相似性度量标准；
在不同的表示域变换后特征性质不变。

[img]http://dl2.iteye.com/upload/attachment/0129/8664/739d5be6-70e5-332a-83b6-42dffc2a24c7.jpg[/img]

当样本个数为n时，此时的代价函数变为：

[img]http://dl2.iteye.com/upload/attachment/0129/8666/7672e89a-1323-3a7e-8f35-9a947d9a1156.jpg[/img]

Y-f(X)表示的是残差，整个式子表示的是残差的平方和，而我们的目的就是最小化这个目标函数值（注：该式子未加入正则项），也就是最小化残差的平方和（residual sum of squares，RSS）。

而在实际应用中，通常会使用均方差（MSE）作为一项衡量指标，公式如下：

[img]http://dl2.iteye.com/upload/attachment/0129/8668/b6ef4276-fb5c-39ac-a4de-5242a2c8bb89.jpg[/img]


3.4 指数损失函数（Adaboost）
学过Adaboost算法的人都知道，它是前向分步加法算法的特例，是一个加和模型，损失函数就是指数函数。指数损失函数(exp-loss）的标准形式如下


[img]http://dl2.iteye.com/upload/attachment/0129/8670/347c6026-9f8b-3c1c-9c21-1c8ac215827d.jpg[/img]


可以看出，Adaboost的目标式子就是指数损失，在给定n个样本的情况下，Adaboost的损失函数为：


[img]http://dl2.iteye.com/upload/attachment/0129/8672/5407488d-517b-3ad0-9a08-4ec6982a86b0.jpg[/img]


3.5 Hinge损失函数
在机器学习算法中，hinge损失函数和SVM是息息相关的。在线性支持向量机中，最优化问题可以等价于下列

[img]http://dl2.iteye.com/upload/attachment/0129/8674/7aca3892-0939-36cc-90c8-6f21e8fb8570.jpg[/img]

Hinge 损失函数的标准形式

[img]http://dl2.iteye.com/upload/attachment/0129/8676/f05935de-04cd-3c5c-9f07-b8cc1390cb12.jpg[/img]


3.6 绝对值损失函数


[img]http://dl2.iteye.com/upload/attachment/0129/8678/d77fac81-c92e-3871-90c8-a53beea059a7.jpg[/img]


4.总结

不同的算法使用的损失函数不一样，要根据相应模型来选择损失函数。

[img]http://dl2.iteye.com/upload/attachment/0129/8680/740daf86-56ea-3140-90d8-1d380d6f323e.png[/img]


参考资料：
http://www.csuldw.com/2016/03/26/2016-03-26-loss-function/
https://blog.youkuaiyun.com/weixin_37933986/article/details/68488339
Pyotorch自定义损失函数
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
03-03 1万+
本篇包含深度学习损失函数总结及如何使用Pytorch自定义损失函数（Loss Function）,使用torch.Tensor提供的接口实现：继承nn.Module类在__init__函数中定义所需要的超参数，在foward函数中定义loss的计算方法。
声纹识别损失函数总结
码匀的博客
09-27 862
目录Classification objectivesSoftmaxCross-EntropyA-SoftmaxAM-SoftmaxAAM-SoftmaxAAM-Softmax ，AM-softmax，A-softmax 和 softmax 之间的联系和区别Metric learning objectivesTriplet-LossPrototypicalAngular-PrototypicalGeneralised-end-to-end(GE2E)参考博客 Classification objective
损失函数
weixin_37136725的博客
02-08 2万+
目录：一、0-1损失函数二、平方损失函数（Square Loss）：主要是最小二乘法（OLS）中； 三、绝对值损失函数四、对数损失函数（Cross Entropy Loss，Softmax Loss ）：用于Logistic 回归与Softmax 分类中； 五、指数损失函数（Exponential Loss） ：主要用于Adaboost 集成学习算法中； 六、铰链损失函数（Hinge Loss）：...
【损失函数】介绍
m0_59253708的博客
11-29 917
损失函数是连接“模型预测”与“真实世界”的桥梁。选择合适的损失函数，决定了模型“努力的方向”是否正确。
机器学习-损失函数汇总
昆仑-郑教主的专栏
09-11 2225
在统计学习中，当有了模型的假设空间，则需要考虑通过什么样的准则学习或选择最优的模型，然而需要引入损失函数与风险函数的概念。    损失函数是度量模型一次预测的好坏；    风险函数是度量平均意义下模型预测的好坏； 0-1损失函数： 使用0-1损失函数时，实质就是通过比较预测值与真实值的符合是否相同； log对数损失函数（logistic回归） log损失函数的标准形式：
自定义损失函数
weixin_41457862的博客
12-08 2800
自定义损失函数 我们使用损失函数来计算一个给定的算法与它所训练的数据的匹配程度。损失计算是基于预测值和实际值之间的差异来做的。如果预测值与实际值相差甚远，损失函数将得到一个非常大的数值。 1. import tensorflow as tf #举例：方差损失函数 def customized_mse(y_true, y_pred): return tf.reduce_mean(tf.squre(y_pred - y_true)) model.compile(loss = customized_m
一文看尽深度学习中的15种损失函数
06-10 2348
在机器学习中，损失函数是代价函数的一部分，而代价函数则是目标函数的一种类型[1]。 Loss function，即损失函数：用于定义单个训练样本与真实值之间的误差； Cost function，即代价函数：用于定义单个批次/整个训练集样本与真实值之间的误差； Objective function，即目标函数：泛指任意可以被优化的函数。 损失函数是用于衡量模型所作出的预测离真实值（Ground Truth）之间的偏离程度。通常，我们都会最小化目标函数，最常用的算法便是“梯度下降法”（Gradient
【常见的损失函数总结】
雪丫头的博客
03-30 2万+
损失函数的定义 损失函数，又叫目标函数，是编译一个神经网络模型必须的两个要素之一。另一个必不可少的要素是优化器。 损失函数用来评价模型的预测值和真实值不一样的程度，损失函数越好，通常模型的性能越好。不同的模型用的损失函数一般也不一样。 损失函数分为经验风险损失函数和结构风险损失函数。经验风险损失函数指预测结果和实际结果的差别，结构风险损失函数是指经验风险损失函数加上正则项。 损失Loss必须是标量，因为向量无法比较大小（向量本身需要通过范数等标量来比较）。 损失函数一般分为4种，平方损失函数，对数损失函数
图像融合常见损失函数总结
weixin_69464301的博客
06-28 3311
用于衡量两幅图像之间的结构相似性，比MSE和MAE更能反映图像的感知质量。：用于减少融合图像中的噪声和伪影，增强图像的平滑性。通过惩罚图像梯度的大变化，能够有效地减少图像中的不连续性和噪声。：用于保持源图像中的边缘信息，确保融合图像中的边缘与源图像相似。作用：用于衡量源图像和融合图像之间的平均平方差异，强调较大的误差。：用于衡量源图像和融合图像之间的平均绝对差异，对异常值不敏感，能平滑地反映误差。分别是源图像和融合图像在位置 (𝑖,𝑗) 处的梯度。是融合图像的像素值，N 是图像的像素总数。
损失函数总结（十四）：RMSELoss、LogCosh Loss
走在深度学习前沿的小宋
11-02 916
本文对损失函数进行了部分总结，包括：RMSELoss、LogCosh Loss 等损失函数及其在当前损失函数众多的情况下使用的环境。
机器学习系列（三）——目标函数和损失函数
01-06
#机器学习基础（三） 文章目录4. 目标函数4.1 为什么要使用目标函数4.2 目标函数的作用原理4.3 为什么目标函数是负的4.4 常见的目标函数4.4.1 **二次代价函数（quadratic cost）**：4.4.2 **交叉熵代价函数（cross-entropy）**：4.4.3**对数似然代价函数（log-likelihood cost）**：5. 损失函数5.1 什么是损失函数5.2 常见的损失函数5.3 逻辑回归为什么使用对数损失函数5.4 对数损失函数是如何度量损失的 在本文中着重介绍机器学习中的目标函数（代价函数，Cost Function）以及损失函数（Loss Fu
损失函数（lossfunction）的全面介绍（简单易懂版）
热门推荐
小林学编程的博客
01-26 16万+
此篇文章会带你快速了解lossfunction（损失函数），用简单的语言，方便理解！！！！！
神经网络中的损失函数（Loss Function）
搏博的专栏
11-25 9707
损失函数通常是一个非负实数函数，表示为L(Y, f(X))，其中Y是实际值（也称为标签或真实值），f(X)是模型的预测值（也称为输出值或估计值），X是输入数据。损失函数的值越小，表示模型的预测结果与实际值越接近，模型的性能也就越好。在这些任务中，模型的目标是尽可能准确地预测连续变量的值，而MAE则提供了一个衡量模型预测精度的有效指标。在这些任务中，模型的目标是准确预测样本所属的类别，而交叉熵损失则提供了一个衡量模型预测精度的有效指标。RMSE是通过计算预测值与实际值之间差的平方的平均值的平方根来衡量的。
【深度学习】最全的十九种损失函数汇总
wzk4869的博客
06-27 3万+
【深度学习】最全的十九种损失函数汇总
损失函数详解
金石软件
05-07 8238
是一种衡量模型与数据吻合程度的算法。损失函数测量实际测量值和预测值之间差距的一种方式。损失函数的值越高预测就越错误，损失函数值越低则预测越接近真实值。对每个单独的观测(数据点)计算损失函数。将所有损失函数（loss function）的值取平均值的函数称为代价函数（cost function），更简单的理解就是损失函数是针对单个样本的，而代价函数是针对所有样本的。。在构建模型的过程中，如果特征的权重发生了变化得到了更好或更差的预测，就需要利用损失函数来判断模型中特征的权重是否需要改变，以及改变的方向。
损失函数（loss function）（基本介绍，作用，场景，特点，常见损失函数，代码示例）
weixin_45594172的博客
06-23 2万+
损失函数（loss function）（基本介绍，作用，场景，特点，常见损失函数，代码示例）
损失函数loss
皮皮blog
04-12 3万+
http://blog.youkuaiyun.com/pipisorry/article/details/23538535 监督学习及其目标函数 损失函数（loss function）是用来估量你模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。 损失函数是经验风险函数的核心部分，也是结构风险函数重要组成部...
损失函数曲面
最新发布
12-15
<think>首先，用户的问题是：“我想了解损失函数曲面相关信息 请问损失函数曲面的原理、特点及应用”。用户提供了几个引用，但系统指令说：“上述引用仅供参考，并不是用户真正的需求，请尽可能多的参考用户上一次的问题和你的回答。” 然而，在这个对话中，没有“上一次的问题和回答”，因为这是第一条消息。所以，我应该基于用户当前的问题和提供的引用来回答。 用户引用了几个来源： - 引用[1]：关于使用交叉熵作为损失函数，描述了损失函数如何通过梯度下降更新参数。 - 引用[2]：解释了深度学习中模型、损失函数和优化器的协作机制。 - 引用[3]：讨论了PyTorch中的损失函数和优化器。 - 引用[4]：关于光学器件的彗差，似乎与损失函数无关。 引用[4]是关于光学的，与损失函数曲面无关，所以我应该忽略它，除非它能间接相关。但主题是损失函数曲面，所以我专注于引用[1]、[2]、[3]。 现在，用户的问题是关于“损失函数曲面”的：原理、特点及应用。 关键点： - **损失函数曲面**：在机器学习中，损失函数曲面（或损失景观）是损失函数在参数空间中的可视化。它展示了损失函数值随着模型参数变化而变化的情况。 - **原理**：损失函数曲面描述了模型参数（如权重）如何影响损失函数的值。在优化过程中，我们寻找这个曲面上的最小值点。 - **特点**： - 凸性：如果损失函数是凸的，曲面有一个全局最小值；否则，可能有多个局部最小值。 - 梯度：梯度指向损失函数增加最快的方向，梯度下降用于移动到最小值。 - 曲率：二阶导数或Hessian矩阵描述了曲面的弯曲程度。 - 在高维空间中，曲面可能非常复杂，有鞍点、平坦区域等。 - **应用**： - 理解优化过程：帮助可视化梯度下降、Adam等优化器如何工作。 - 诊断问题：识别梯度消失、爆炸或陷入局部最小值。 - 模型设计：设计损失函数以形成更容易优化的曲面。 - 在深度学习研究中，分析损失景观以改进训练。 从引用中提取相关信息： - 引用[1]：描述了损失函数对参数的偏导（梯度），以及如何更新参数以减少损失。这直接相关于损失函数曲面的梯度。 - 引用[2]：强调了损失函数作为策略，优化器作为算法，共同作用在模型参数上。损失函数曲面是优化器工作的“地形”。 - 引用[3]：提到了损失函数和优化器在PyTorch中的实现，但具体细节较少。 系统指令： - 所有行内数学表达式使用 $...$ 格式。 - 独立公式使用 $$...$$ 格式并单独成段。 - LaTeX语法正确。 - 使用中文回答。 - 生成相关问题。 - 回答中引用的段落末尾自然地添加引用标识，例如：[^1] - 结构清晰，帮助用户逐步解决问题。 所以，回答结构： 1. **引言**：简要介绍损失函数曲面。 2. **原理**：解释损失函数曲面的数学基础，包括梯度下降等。使用数学公式。 3. **特点**：描述曲面的性质，如凸性、曲率、高维特性。 4. **应用**：讨论在深度学习中的实际应用。 5. **结论**：总结。 6. **生成相关问题**：在末尾添加相关问题。 生成相关问题：基于用户的问题，提出进一步的问题，如： - 如何可视化损失函数曲面？ - 损失函数曲面在训练中如何影响收敛速度？ - 什么是鞍点，它如何影响优化？ 确保引用：当引用用户提供的引用时，在末尾添加 、[^2] 等。例如，引用[1]讨论梯度下降，我可以说：损失函数的梯度指导参数更新 。 现在，构建回答大纲： 1. **什么是损失函数曲面？**：定义和基本概念。 2. **原理**： - 数学表示：损失函数 $L(\theta)$，其中 $\theta$ 是参数向量。 - 梯度下降：$ \theta = \theta - \alpha \nabla L(\theta) $ - 从引用[1]：偏导和更新规则。 3. **特点**： - 凸性：如果凸，则全局最小值。 - 非凸性：局部最小值和鞍点。 - 高维空间：曲率、Hessian矩阵。 - 平坦区域和陡峭区域。 4. **应用**： - 优化算法设计：如Adam、SGD。 - 训练诊断：监控损失景观。 - 模型鲁棒性分析。 - 从引用[2]和[3]：损失函数与优化器的协作。 5. **结论**：简要总结重要性。 最后，添加相关问题。 </think> ### 损失函数曲面的原理、特点及应用 损失函数曲面（Loss Function Surface）是机器学习中用于可视化损失函数随模型参数变化的几何表示。它描述了损失函数值在参数空间中的分布，是优化算法（如梯度下降）的基础。理解损失函数曲面有助于设计高效模型、诊断训练问题并提升性能。下面我将从原理、特点和应用三个方面逐步解释。 #### 1. **原理** 损失函数曲面基于数学优化理论构建。在机器学习中，模型参数（如权重 $w$ 或 $\theta$）被表示为高维空间中的点，损失函数 $L(\theta)$ 则映射这些点到标量损失值。曲面通过损失函数在参数空间中的等高线或3D图形展示其变化： - **数学基础**：损失函数通常定义为预测值与真实值的差异度量。例如，对于回归问题，常用均方误差损失：$$ L(\theta) = \frac{1}{n} \sum_{i=1}^{n} (y_i - f(x_i; \theta))^2 $$ 其中，$y_i$ 是真实值，$f(x_i; \theta)$ 是模型预测。 - **优化过程**：优化器通过梯度下降更新参数。梯度 $\nabla L(\theta)$ 表示损失函数在参数方向上的变化率，更新规则为：$$ \theta = \theta - \alpha \nabla L(\theta) $$ 其中，$\alpha$ 是学习率。这会使参数向损失最小化方向移动，类似于在曲面上“下坡”。 - **高维扩展**：在深度学习中，参数空间可能包含数百万维度，损失函数曲面成为高维流形。优化算法如 Adam 或 SGD 通过一阶（梯度）或二阶（Hessian矩阵）信息导航曲面，寻找全局或局部最小值[^2]。 #### 2. **特点** 损失函数曲面具有多种特性，这些特性影响模型训练的效率和稳定性： - **凸性与非凸性**： - 如果损失函数是凸函数，曲面只有一个全局最小值（如线性回归），优化相对简单。 - 在深度学习中，曲面通常是非凸的，包含多个局部最小值和鞍点（梯度为零但非极值的点），这可能导致优化陷入次优解[^2]。 - **曲率与平坦区域**： - 曲率由 Hessian 矩阵 $\mathbf{H} = \frac{\partial^2 L}{\partial \theta_i \partial \theta_j}$ 描述。高曲率区域（如狭窄山谷）可能引起梯度爆炸或消失，而平坦区域（低曲率）会减慢收敛速度。 - 例如，在交叉熵损失中，曲面在接近最小值时可能变得平缓，需要自适应优化器（如 Adam）调整学习率[^3]。 - **高维复杂性**： - 在高维空间，曲面常呈现“鞍点主导”特征，即鞍点数量远多于局部最小值。这增加了优化难度，但现代优化器能有效逃离鞍点。 - 可视化困难：实际中，常用降维技术（如PCA）将高维曲面投影到2D或3D进行可视化，但可能损失部分信息。 #### 3. **应用** 损失函数曲面在深度学习中被广泛应用于优化和模型分析： - **优化算法设计**：损失函数曲面指导优化器的选择。例如： - SGD 适用于平滑曲面，但易受局部最小值影响。 - Adam 结合动量，能更好处理非凸曲面中的鞍点和平坦区域[^3]。 - **训练诊断与改进**： - 通过分析曲面，可识别问题如梯度消失（曲面过平）或过拟合（曲面有尖锐最小值）。这有助于调整学习率或添加正则化。 - 在引用[1]中，交叉熵损失的曲面梯度被用于参数更新，提升分类模型效率。 - **模型鲁棒性分析**：研究曲面可增强模型泛化能力。例如： - 平坦最小值通常对应更鲁棒的模型，因为参数小扰动对损失影响小。 - 在对抗训练中，曲面分析帮助设计损失函数以抵抗扰动[^2]。 - **实际场景**：在计算机视觉或自然语言处理中，损失函数曲面用于调参、early stopping 和损失函数选择（如交叉熵用于分类，MSE用于回归）。 #### 总结 损失函数曲面是深度学习的核心概念，它将损失函数、模型参数和优化器连接起来，形成一个可导航的“地形”。理解其原理（如梯度下降）、特点（如非凸性和高维复杂性）和应用（如优化设计）能显著提升模型训练效果。实践中，工具如 PyTorch 提供了可视化库来探索曲面，帮助开发者诊断问题[^3]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值