深度学习中常用损失函数

最新推荐文章于 2025-07-14 19:51:43 发布
最新推荐文章于 2025-07-14 19:51:43 发布
阅读量2.1w 收藏 75
点赞数 10
CC 4.0 BY-SA版权
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Tianlock/article/details/88232467

深度学习中常用损失函数

损失函数是用来估量模型的预测值f(x)与真实值Y的不一致程度，它是一个非负值函数，通常用L(Y,f(x))来表示，损失函数越小，模型的鲁棒性越好。损失函数是经验风险函数的核心部分，也是结构风险函数的重要组成部分。模型的结构风险函数包括了经验风险项和正则项，通常可以表示成如下式子：
在这里插入图片描述
其中，前面的均值函数表示的是经验风险损失函数，L表示的是损失函数，后面的是正则化项。

L1损失函数和L2损失函数

这两个损失函数通常一起比较着来说。
L1损失函数，又叫最小绝对值偏差（LAE）。它把目标值与估计值的绝对差值的总和最小化：
在这里插入图片描述
L2损失函数，也被称为最小平方误差。总的来说，它是把目标值与估计值的差值的平方和最小化。
在这里插入图片描述
L2损失函数对异常点比较敏感，因为L2将误差平方化，使得异常点的误差过大，模型需要大幅度的调整，这样会牺牲很多正常的样本。
而L1损失函数由于导数不连续，可能存在多个解，当数据集有一个微笑的变化，解可能会有一个很大的跳动，L1的解不稳定。

smooth l1损失函数
在目标检测中，在reg坐标中用到smooth l1损失函数。如下式

最低0.47元/天 解锁文章

200万优质内容无限畅学
Keras深度学习实战——深度学习中常用激活函数和损失函数详解
走向CTO的路上...
05-22 1386
本教程将介绍 Keras 深度学习框架中常用的激活函数和损失函数。激活函数用于引入非线性特性，使得神经网络能够更好地学习和模拟复杂的输入输出关系；损失函数用于度量模型预测结果与真实值之间的差异，选择合适的损失函数对于模型的训练至关重要。Keras 深度学习框架提供了简单易用的工具来选择和使用激活函数和损失函数，这使得深度学习技术可以更加广泛地应用。
深度学习中的损失函数和网络优化方法
2301_77539454的博客
07-22 1579
损失函数（Loss Function），又称为代价函数或目标函数，是衡量模型预测值与真实值之间差异的函数。它为模型训练提供了优化的方向，通过最小化损失函数来调整模型参数。梯度优化方法是深度学习中用于训练神经网络的核心算法，其目的是通过迭代调整网络参数，最小化损失函数，从而提高模型的预测准确性。梯度优化方法的重要性在于它们直接影响到模型的训练效率和最终性能。定义：梯度优化方法利用损失函数对模型参数的梯度信息来指导参数更新的方向和幅度。梯度是一个向量，其分量是损失函数对每个参数的偏导数，指向损失增加最快的方向。
深度学习caffe日志的损失Loss曲线(m文件)
03-02
欢迎下载，画出训练模型时的Train和Validate的Loss曲线
神经网络中的损失函数（Loss Function）
搏博的专栏
11-25 9157
损失函数通常是一个非负实数函数，表示为L(Y, f(X))，其中Y是实际值（也称为标签或真实值），f(X)是模型的预测值（也称为输出值或估计值），X是输入数据。损失函数的值越小，表示模型的预测结果与实际值越接近，模型的性能也就越好。在这些任务中，模型的目标是尽可能准确地预测连续变量的值，而MAE则提供了一个衡量模型预测精度的有效指标。在这些任务中，模型的目标是准确预测样本所属的类别，而交叉熵损失则提供了一个衡量模型预测精度的有效指标。RMSE是通过计算预测值与实际值之间差的平方的平均值的平方根来衡量的。
深度学习基础：损失函数（Loss Function）全面解析
最新发布
wyy202206174248的博客
07-14 1347
损失函数（Loss Function），也称为代价函数（Cost Function），是机器学习和深度学习中用于量化模型预测误差的核心工具。它像一位严格的老师，不断告诉模型"你的预测离正确答案还有多远"，并通过优化算法指导模型如何改进。通俗理解：想象你在玩飞镖游戏，损失函数就是用来计算你的飞镖（预测值）与靶心（真实值）之间的距离。距离越大，说明你的技术越需要改进；距离越小，说明你越接近完美。常见损失函数及用途任务类型损失函数公式（简化版）特点回归任务均方误差（MSE）
如何根据训练/验证损失曲线诊断我们的神经网络
sjwzdh的博客
12-13 1万+
第一部分 前言 在关于训练神经网路的诸多技巧Tricks(完全总结版)这篇文章中，我们大概描述了大部分所有可能在训练神经网络中使用的技巧，这对如何提升神经网络的准确度是很有效的。 然而在实际中，在方法几乎定型的时候，我们往往需要针对自己的任务和自己设计的神经网络进行debug才能达到不错的效果，这也就是一个不断调试不断改进的一个过程。 如何Debug 以下的内容部分来自CS231n课程，以及汇总了...
【深度学习】损失函数详解
LogosTR_的博客
08-16 1万+
损失函数
深度学习：根据 loss曲线，对模型调参
weixin_46969441的博客
11-01 1万+
深度学习模型调参笔记 train loss 下降，val loss下降，说明网络仍在学习； 奈斯，继续训练 train loss 下降，val loss上升，说明网络开始过拟合了；赶紧停止，然后数据增强、正则 train loss 不变，val loss不变，说明学习遇到瓶颈；调小学习率或批量数目 train loss 不变，val loss下降，说明数据集100%有问题；检查数据集标注有没有问题 train loss 上升，val loss上升，说明网络结构设计不当，训练超参数设置不当，数据集经过清洗等问
深度学习中的损失函数详解
介绍AI领域相关知识
10-06 2328
在深度学习的世界中，损失函数（Loss Function）是最关键的组成部分之一，它帮助我们评估模型的预测与真实标签之间的差距。无论是回归问题、分类问题，还是更复杂的生成模型问题，损失函数都扮演者核心角色。通过最小化损失函数，模型能够逐渐优化其性能，从而提升对未见数据的泛化能力。
深度学习 二分类 损失函数_深度学习常用损失函数
weixin_39868959的博客
11-23 634
船长黑板报所有文章和代码的最新版本均在Captain1986/CaptainBlackboard​github.com维护，知乎不做维护您的Star是对我的鼓励# 　　　　　　深度学习常用损失函数## 引言深度学习的任务本质上来说是拟合一个函数Fcnn，将输入的图片映射到对应的标签，这个映射的好坏需要用损失函数来表达，学习训练的过程也是由损失函数来指导。本文总结了一些在深度学习，更具体地说，实在卷...
机器学习总结（一）：常见的损失函数
热门推荐
以梦为马，不负韶华
03-30 5万+
这是博主的第一篇博客，mark一下，希望今后能够坚持下去。博主是机器学习菜鸟，将来希望从事机器学习的工作，最近在整理机器学习的知识点，将这些总结的文字以博客的形式展现出来，一是便于复习，二是分享出来希望能对别人会有一点点帮助。最近搜集了一些机器学习常见的面试问题，将问题和回答整理出来，做到有备无患。（随时进行补充）一、常见的损失函数通常机器学习每一个算法中都会有一个目标函数，算法的求解过程是通过对这
tensorflow2 搭建神经网络六步法
weixin_44111377的博客
09-21 867
import tensorflow as tf import os import numpy as np from matplotlib import pyplot as plt np.set_printoptions(threshold=np.inf) mnist = tf.keras.datasets.mnist (x_train, y_train), (x_test, y_test) = mnist.load_data() x_train, x_test = x_train / 255.0, x_
模型损失函数变化曲线图_线性模型的训练
weixin_39953481的博客
11-21 4490
01线性回归线性模型损失函数目标：找到θ使损失函数最小用标准方程式直接计算θ最优解标准方程推导过程随机生成一些线性数据用标准方程式求最优参数用LinearRegression求解标准方程计算复杂度,数据越多越慢线性方程的计算复杂度O(m)02梯度下降已知损失函数Gradient Decent初始θ是随机的，每一步θ都降低损失函数MSE。 学习率η(learning rate)的选择很重...
深度学习基础13（三种常见loss函数的优劣）
FLR的博客
03-28 2698
损失函数 损失函数用来衡量预测值和真实值之间的区别 下面介绍三个常用的损失函数 L2 Loss（均方损失） 除以2的意思是说在求导的时候2和1/2可以抵消 下面所有图的横坐标就是预测值与真实值的差 上图是这个损失函数的特性： 蓝色的曲线：损失函数的曲线 绿色的曲线：是它的似然函数，可以看出它的似然函数是一个高斯分布 橙色的曲线：表示损失函数的梯度 L1 Loss （绝对值损失函数） 蓝色的曲线：损失函数的曲线 绿色的曲线：是它的似然函数 橙色的曲线：表示损失函数的梯度，可以看出在y’大于0时，它的
损失函数
weixin_37136725的博客
02-08 2万+
目录：一、0-1损失函数二、平方损失函数（Square Loss）：主要是最小二乘法（OLS）中； 三、绝对值损失函数四、对数损失函数（Cross Entropy Loss，Softmax Loss ）：用于Logistic 回归与Softmax 分类中； 五、指数损失函数（Exponential Loss） ：主要用于Adaboost 集成学习算法中； 六、铰链损失函数（Hinge Loss）：...
深度学习常用的损失函数
03-24
### 常见深度学习损失函数及其应用场景 #### 1. 均方误差 (Mean Squared Error, MSE) 均方误差是最常见的回归问题中的损失函数之一。它计算预测值与真实值之间的平方差的平均值，适用于连续数值输出的任务。 公式如下： ```python def mse_loss(y_true, y_pred): return ((y_true - y_pred)**2).mean() ``` MSE 对于异常值非常敏感，因为它会放大较大的错误[^1]。 #### 2. 交叉熵损失 (Cross-Entropy Loss) 交叉熵损失广泛应用于分类任务中，尤其是多类别分类问题。对于二分类问题，通常使用的是二元交叉熵；而对于多分类问题，则采用 softmax 和对应的交叉熵组合形式。 公式表示为： \[ \text{Loss} = -\frac{1}{N}\sum_{i=1}^{N}[y_i\log(p_i) + (1-y_i)\log(1-p_i)] \] 其中 \( p_i \) 是模型预测的概率，\( y_i \) 是真实的标签[^2]。 #### 3. Hinge 损失 (Hinge Loss) 主要用于支持向量机(SVM)，特别是在二分类场景下表现良好。其目标是最大化正负样本间的间隔。 表达式为： \[ L(y)=\max(0, 1-t \cdot y), t=\pm 1 \] 这种损失适合线性可分的数据集。 #### 4. Kullback-Leibler 散度 (KL Divergence) 衡量两个概率分布P和Q之间差异程度的一种方法，在变分自编码器(VAEs)等生成模型中有重要应用价值。 定义为： \[ D_{KL}(P||Q)=\int P(x)\log{\frac {P(x)}{Q(x)}}dx \] #### 5. Huber 损失 (Huber Loss) 结合了MSE和平滑L1损失的优点，既保持了对较大残差的有效惩罚又不会过分受极端值影响。 当绝对误差小于某个阈值δ时取二次项部分，大于等于δ则转而采用一次项处理方式: \[ loss(a) = \begin{cases} 0.5a^2 & |a|<\delta \\ \delta(|a|-0.5*\delta)& otherwise\\ \end{cases} \] #### 6. Focal Loss 针对极度不平衡数据设计出来的改进版交叉熵损失，能够降低简单样例所占权重从而让网络更关注困难例子的学习效果提升上. 以上列举了几种典型的深度学习领域内的损失函数以及它们各自适用范围介绍.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值