深度学习中常用损失函数

最新推荐文章于 2025-07-14 19:51:43 发布
最新推荐文章于 2025-07-14 19:51:43 发布
阅读量2.1w 收藏 75
点赞数 10
CC 4.0 BY-SA版权
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Tianlock/article/details/88232467

深度学习中常用损失函数

损失函数是用来估量模型的预测值f(x)与真实值Y的不一致程度，它是一个非负值函数，通常用L(Y,f(x))来表示，损失函数越小，模型的鲁棒性越好。损失函数是经验风险函数的核心部分，也是结构风险函数的重要组成部分。模型的结构风险函数包括了经验风险项和正则项，通常可以表示成如下式子：
在这里插入图片描述
其中，前面的均值函数表示的是经验风险损失函数，L表示的是损失函数，后面的是正则化项。

L1损失函数和L2损失函数

这两个损失函数通常一起比较着来说。
L1损失函数，又叫最小绝对值偏差（LAE）。它把目标值与估计值的绝对差值的总和最小化：
在这里插入图片描述
L2损失函数，也被称为最小平方误差。总的来说，它是把目标值与估计值的差值的平方和最小化。
在这里插入图片描述
L2损失函数对异常点比较敏感，因为L2将误差平方化，使得异常点的误差过大，模型需要大幅度的调整，这样会牺牲很多正常的样本。
而L1损失函数由于导数不连续，可能存在多个解，当数据集有一个微笑的变化，解可能会有一个很大的跳动，L1的解不稳定。

smooth l1损失函数
在目标检测中，在reg坐标中用到smooth l1损失函数。如下式

最低0.47元/天 解锁文章

200万优质内容无限畅学
Keras深度学习实战——深度学习中常用激活函数和损失函数详解
走向CTO的路上...
05-22 1387
本教程将介绍 Keras 深度学习框架中常用的激活函数和损失函数。激活函数用于引入非线性特性，使得神经网络能够更好地学习和模拟复杂的输入输出关系；损失函数用于度量模型预测结果与真实值之间的差异，选择合适的损失函数对于模型的训练至关重要。Keras 深度学习框架提供了简单易用的工具来选择和使用激活函数和损失函数，这使得深度学习技术可以更加广泛地应用。
深度学习中的损失函数和网络优化方法
2301_77539454的博客
07-22 1580
损失函数（Loss Function），又称为代价函数或目标函数，是衡量模型预测值与真实值之间差异的函数。它为模型训练提供了优化的方向，通过最小化损失函数来调整模型参数。梯度优化方法是深度学习中用于训练神经网络的核心算法，其目的是通过迭代调整网络参数，最小化损失函数，从而提高模型的预测准确性。梯度优化方法的重要性在于它们直接影响到模型的训练效率和最终性能。定义：梯度优化方法利用损失函数对模型参数的梯度信息来指导参数更新的方向和幅度。梯度是一个向量，其分量是损失函数对每个参数的偏导数，指向损失增加最快的方向。
深度学习caffe日志的损失Loss曲线(m文件)
03-02
欢迎下载，画出训练模型时的Train和Validate的Loss曲线
损失函数
热门推荐
weixin_37136725的博客
02-08 2万+
目录：一、0-1损失函数二、平方损失函数（Square Loss）：主要是最小二乘法（OLS）中； 三、绝对值损失函数四、对数损失函数（Cross Entropy Loss，Softmax Loss ）：用于Logistic 回归与Softmax 分类中； 五、指数损失函数（Exponential Loss） ：主要用于Adaboost 集成学习算法中； 六、铰链损失函数（Hinge Loss）：...
深度学习基础：损失函数（Loss Function）全面解析
最新发布
wyy202206174248的博客
07-14 1353
损失函数（Loss Function），也称为代价函数（Cost Function），是机器学习和深度学习中用于量化模型预测误差的核心工具。它像一位严格的老师，不断告诉模型"你的预测离正确答案还有多远"，并通过优化算法指导模型如何改进。通俗理解：想象你在玩飞镖游戏，损失函数就是用来计算你的飞镖（预测值）与靶心（真实值）之间的距离。距离越大，说明你的技术越需要改进；距离越小，说明你越接近完美。常见损失函数及用途任务类型损失函数公式（简化版）特点回归任务均方误差（MSE）
深度学习中的损失函数（交叉熵）
YuanLei96的博客
04-03 4515
0、前景介绍 对于线性回归模型适用于输出为连续值的情景，但是在模型输出是一个像图像类别这样的离散值时。对于这样离散值的预测问题，通常使用一些例如sigmoid/softmax的分类模型。 1. 图像分类任务 假设下面两个模型都是通过softmax的方式得到对于每个预测结果的概率值： 模型1： 预测 真实 是否正确 0.3 0.3 0.4 0 0 1 (猪) 正确 0.3 0.4 0.3 0 1 0 (狗) 正确 0.1 0.2 0.7 1 0
【纯干货级教程】深度学习根据loss曲线进行分析调参
2401_84870184的博客
06-16 1万+
以YOLOv5/YOLOv7示例展示深度学习的目标检测算法在输出的文件中的loss曲线变化规律的一般情况的分析总结，并用以调整自己的模型、调参等。
常见的损失函数学习随笔
最白の白菜的博客
02-17 1094
常见的损失函数学习随笔 学习目标 知道分类任务的损失函数 知道回归任务的损失函数 在深度学习中, 损失函数是用来衡量模型参数的质量的函数, 衡量的方式是比较网络输出和真实输出的差异，损失函数在不同的文献中名称是不一样的，主要有以下几种命名方式： 分类任务 在深度学习的分类任务中使用最多的是交叉熵损失函数，所以在这里我们着重介绍这种损失函数。 多分类任务 在多分类任务通常使用softmax将logits转换为概率的形式，所以多分类的交叉熵损失也叫做softmax损失，它的计算方法是： 其中，y是样本
深度学习中的损失函数详解
介绍AI领域相关知识
10-06 2329
在深度学习的世界中，损失函数（Loss Function）是最关键的组成部分之一，它帮助我们评估模型的预测与真实标签之间的差距。无论是回归问题、分类问题，还是更复杂的生成模型问题，损失函数都扮演者核心角色。通过最小化损失函数，模型能够逐渐优化其性能，从而提升对未见数据的泛化能力。
深度学习 二分类 损失函数_深度学习常用损失函数
weixin_39868959的博客
11-23 634
船长黑板报所有文章和代码的最新版本均在Captain1986/CaptainBlackboard​github.com维护，知乎不做维护您的Star是对我的鼓励# 　　　　　　深度学习常用损失函数## 引言深度学习的任务本质上来说是拟合一个函数Fcnn，将输入的图片映射到对应的标签，这个映射的好坏需要用损失函数来表达，学习训练的过程也是由损失函数来指导。本文总结了一些在深度学习，更具体地说，实在卷...
【深度学习-LOSS】loss曲线的各种情况对应解决办法
fantianning的博客
04-20 7195
“loss的各种情况”【基础情况】 train loss test loss 情况 解决办法 下降 下降 网络仍在学习（????） 增加EPOCH直到不再下降 下降 下降 网络过拟合（????） 减小层中units数 / 减小层数 / 简化网络结构 不变 下降 数据集有问题（????） 检查数据集 不变 不变 学习遇到瓶颈（????） 减小学习率 / 减小BATCH SIZE 【补充情况】 train loss test loss 情况 解决办法 下降 波动下
深度学习都是非凸问题_神经网络的损失函数为什么是非凸的?
weixin_35902481的博客
12-23 508
Ian Goodfellow曾经给在quora回答过，以下是原文：There are various ways to test for convexity.One is to just plot a cross-section of the function and look at it. If it has a non-convex shape, you don’t need to write ...
深度学习（二）-损失函数+梯度下降
weixin_40198632的博客
09-02 2009
损失函数（Loss Function），也有称之为代价函数（Cost Function），用来度量预测值和实际值之间的差异。损失函数的作用度量决策函数f（x）和实际值之间的差异。作为模型性能参考。损失函数值越小，说明预测输出和实际结果（也称期望 输出）之间的差值就越小，也就说明我们构建的模型越好。学习的过程，就 是不断通过训练数据进行预测，不断调整预测输出与实际输出差异，使的损失值最小的过程。
深度学习常用损失函数总览：基本形式、原理、特点
小白学视觉
01-22 306
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达作者｜王桂波机器学习中的监督学习本质上是给定一系列训练样本，尝试学习的映射关系，使得给定一个，即便这个...
评价深度学习模型训练效果的曲线图
Larry Chow
01-05 2415
这些曲线图可以帮助我们了解模型在不同训练阶段的表现，从而更好地调整模型参数和超参数，提高模型的性能。
深度学习中常见的损失函数
fengdu78的博客
04-28 5230
文章来源于AI的那些事儿，作者黄鸿波2018年我出版了《TensorFlow进阶指南 基础、算法与应用》这本书，今天我把这本书中关于常见的损失函数这一节的内容公开出来，希望能对大家有所帮...
机器学习（五）——常见损失函数
livan1234的博客
07-02 8666
笔者是一个痴迷于挖掘数据中的价值的学习人，希望在平日的工作学习中，挖掘数据的价值，找寻数据的秘密，笔者认为，数据的价值不仅仅只体现在企业中，个人也可以体会到数据的魅力，用技术力量探索行为密码，让大数据助跑每一个人，欢迎直筒们关注我的公众号，大家一起讨论数据中的那些有趣的事情。 我的公众号为：livandata 1） 损失函数有哪几种： 通常机器学习每一个算法中都会有一个目标函数，...
AI秒画损失函数曲线图（Loss Function Curve）
lzq603的博客
09-10 2181
通过绘制Loss曲线，能够清楚地观察到模型在训练过程中的收敛情况，从而帮助我们判断模型是否出现过拟合或欠拟合。我们把这些内容全部赋值，输入到ChatGPT中，先让它帮我们把其中的数据提取出来（如果文字量比较小也可以省略这一步，直接把内容进行后续处理）但是这张图中，曲线的位置比较高，只占据了整张图的一小部分，因此，我们想办法让曲线占到中间来，例如我么可以输入“Y轴从1.2开始”对于代码基础比较薄弱的同学来说，绘制曲线图是一件比较困难的工作，但我们可以借助AI，一键生成。然后我们打开图表狐（
机器学习中几种损失函数的分析
UESTC_C2_403的博客
07-14 5781
在机器学习中，损失函数是非常重要的，用于衡量目标结果的好坏，用于训练模型，损失函数就是目标函数了。常见的损失函数有以下几种： 1.‘0/1损失函数’ f(z)=1, 如果z是小于零的，其他就等于0. 性质：不是凸函数，不是连续的函数，数学性质不是非常好，一般用于感知机算法，感知机算法的损失函数就是这个。为了克服这个函数不连续，不是凸函数的问题，出现了其他几种可以替代的函数 2.hinge损
深度学习常用的损失函数
03-24
### 常见深度学习损失函数及其应用场景 #### 1. 均方误差 (Mean Squared Error, MSE) 均方误差是最常见的回归问题中的损失函数之一。它计算预测值与真实值之间的平方差的平均值，适用于连续数值输出的任务。 公式如下： ```python def mse_loss(y_true, y_pred): return ((y_true - y_pred)**2).mean() ``` MSE 对于异常值非常敏感，因为它会放大较大的错误[^1]。 #### 2. 交叉熵损失 (Cross-Entropy Loss) 交叉熵损失广泛应用于分类任务中，尤其是多类别分类问题。对于二分类问题，通常使用的是二元交叉熵；而对于多分类问题，则采用 softmax 和对应的交叉熵组合形式。 公式表示为： \[ \text{Loss} = -\frac{1}{N}\sum_{i=1}^{N}[y_i\log(p_i) + (1-y_i)\log(1-p_i)] \] 其中 \( p_i \) 是模型预测的概率，\( y_i \) 是真实的标签[^2]。 #### 3. Hinge 损失 (Hinge Loss) 主要用于支持向量机(SVM)，特别是在二分类场景下表现良好。其目标是最大化正负样本间的间隔。 表达式为： \[ L(y)=\max(0, 1-t \cdot y), t=\pm 1 \] 这种损失适合线性可分的数据集。 #### 4. Kullback-Leibler 散度 (KL Divergence) 衡量两个概率分布P和Q之间差异程度的一种方法，在变分自编码器(VAEs)等生成模型中有重要应用价值。 定义为： \[ D_{KL}(P||Q)=\int P(x)\log{\frac {P(x)}{Q(x)}}dx \] #### 5. Huber 损失 (Huber Loss) 结合了MSE和平滑L1损失的优点，既保持了对较大残差的有效惩罚又不会过分受极端值影响。 当绝对误差小于某个阈值δ时取二次项部分，大于等于δ则转而采用一次项处理方式: \[ loss(a) = \begin{cases} 0.5a^2 & |a|<\delta \\ \delta(|a|-0.5*\delta)& otherwise\\ \end{cases} \] #### 6. Focal Loss 针对极度不平衡数据设计出来的改进版交叉熵损失，能够降低简单样例所占权重从而让网络更关注困难例子的学习效果提升上. 以上列举了几种典型的深度学习领域内的损失函数以及它们各自适用范围介绍.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值