Torch的损失函数总结

最新推荐文章于 2024-09-05 16:09:42 发布
原创 最新推荐文章于 2024-09-05 16:09:42 发布 · 1.7k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文总结了Torch中常用的损失函数，包括L1Loss、SmoothL1Loss（Huber Loss）、MSELoss（均方误差）、BCELoss（二值交叉熵）和CrossEntropyLoss。这些损失函数在不同场景下有不同的应用，如L1Loss和MSELoss常用于回归任务，BCELoss适合二分类，而CrossEntropyLoss则适用于多分类问题。

nn.L1Loss
取预测值和真实值的绝对误差的平均数。
loss⁡(x,y)=1N∑i=1N∣x−y∣ \operatorname{loss}(\mathbf{x}, \mathbf{y})=\frac{1}{N} \sum_{i=1}^{N}|\mathbf{x}-\mathbf{y}| loss(x,y)=N1​i=1∑N​∣x−y∣

nn.SmoothL1Loss
也叫作 Huber Loss，误差在 (-1,1) 上是平方损失，其他情况是 L1 损失。
loss⁡(x,y)=1N{ 12(xi−yi)2 if ∣xi−yi∣<1∣xi−yi∣−12, otherwise  \operatorname{loss}(\mathbf{x}, \mathbf{y})=\frac{1}{N}\left\{\begin{array}{cc}{\frac{1}{2}\left(\mathbf{x}_{i}-\mathbf{y}_{i}\right)^{2}} & {\text { if }\left|\mathbf{x}_{i}-\mathbf{y}_{i}\right|<1} \\ {\left|\mathbf{x}_{i}-\mathbf{y}_{i}\right|-\frac{1}{2},} & {\text { otherwise }}\end{array}\right. loss(x,y)=N1​{ 21​(xi​−y

最低0.47元/天 解锁文章
5.深度学习 ② 常用损失函数 1）
驽马十驾，功在不舍；锲而不舍，金石可镂。
05-04 8445
loss函数大全参考文件 平均绝对误差（MAE）/L1 Loss 当torch.nn.L1Loss的参数reduction选择’sum’时即为L1 loss； 当选择 ‘mean’ /'none’时，即为MAE。 KaTeX parse error: Can't use function '\]' in math mode at position 74: …_i^p} \right|} \̲]̲............
Pytorch学习--回归损失函数总结
qq_40379132的博客
06-23 4525
“损失函数”是机器学习优化中至关重要的一部分。机器学习中所有的算法都需要最大化或最小化一个函数，这个函数被称为“目标函数”。其中，我们一般把最小化的一类函数，称为“损失函数”。它能根据预测结果，衡量出模型预测能力的好坏。常见的损失函数例如L1、L2损失函数。除此之外，还有Huber损失、Log-Cosh损失、以及常用于计算预测区间的分位数损失。在实际应用中，选取损失函数会受到诸多因素的制约，比如是否有异常值、机器学习算法的选择、梯度下降的时间复杂度、求导的难易程度以及预测值的置信度等等。因此，不存在一种损失
pytorch 损失函数
浩瀚之水的专栏
09-05 1904
计算出来的结果已经对mini-batch取了平均。一、损失函数列表创建一个衡量输入x模型预测输出)和目标y之间差的绝对值的平均值的标准。x和y可以是任意形状，每个包含n个元素。对n个元素对应的差值的绝对值求和，得出来的结果除以n。如果在创建L1Loss实例的时候在构造函数中传入，那么求出来的绝对值的和将不会除以n创建一个衡量输入x模型预测输出)和目标y之间均方误差标准。x和y可以是任意形状，每个包含n个元素。对n个元素对应的差值的绝对值求和，得出来的结果除以n。如果在创建MSELoss。
Pytorch中常用Loss函数总结
water&水滴之纯の博客
06-27 6955
Pytorch中常用Loss函数总结 - **torch.nn.MSELoss():常用于回归模型** - **torch.nn.CrossEntropyLoss():常用于分类模型** 一、MSE（均方差） MSE loss = 1/n(x-y)*** loss_func2 = torch.nn.MSELoss() target = torch.tensor([[112.2396, ...
Pytorch loss 函数详解
weixin_41914570的博客
11-13 4673
reduce参数如果为True，计算结果“坍缩”,"坍缩"方法有两种：求和（size_average=False）与平均(size_average=True) 1. torch.nn.L1Loss (MAE:Mean Absolute Error) 计算绝对值差的总和，输入输出的维度应该相同 loss = torch.nn.L1Loss(reduce=False, size_average=False) loss(torch.tensor([1.,2.]),torch.tensor([3.,4...
Pytorch之loss（损失函数）
记录学习的小白
04-18 6428
损失函数也在torch.nn下，具体可以参考文档，也可以参考官网 先根据L1Loss举例 我个人感觉这里的描述还是到官网的文档找比较好，公式看的比文档清楚 import torch from torch import nn inputs = torch.tensor([[3, 2, 1],[1, 2, 3]], dtype=torch.float32) target = torch.tensor([[1, 2, 1],[1, 2, 4]], dtype=torch.float32) l
Pytorch中torch.nn的损失函数
12-21
在PyTorch中，`torch.nn`模块包含了各种损失函数，这些函数对于训练神经网络模型至关重要，因为它们衡量了模型预测与实际目标之间的差异。在本文中，我们将深入探讨三个常用的损失函数，分别是`BCELoss`、`...
torch.nn中的22种loss函数简述
2301_77444219的博客
07-29 1708
loss.py中能看到所有的loss函数，本文会简单对它们进行介绍。
pytorch loss function 总结
Arthur_Holmes的博客
06-22 693
最近看了下 PyTorch 的损失函数文档，整理了下自己的理解，重新格式化了公式如下，以便以后查阅。 值得注意的是，很多的 loss 函数都有 size_average 和 reduce 两个布尔类型的参数，需要解释一下。因为一般损失函数都是直接...
torch中的损失函数大全
爱CV
07-17 4381
keras和pytorch很多都是相似的，这里以pytorch为例。 1. L1范数损失 L1Loss 计算 output 和 target 之差的绝对值。 torch.nn.L1Loss(reduction='mean') 参数： reduction-三个值，none: 不使用约简；mean:返回loss和的平均值；sum:返回loss的和。默认：mean。 2 均方误差损失 MSELoss 计算 output 和 target 之差的均方差。 torch.nn.MSELoss(
torch损失函数
weixin_41012399的博客
03-29 322
交叉熵损失 torch. nn. CrossEntropyLoss. to(device)
torch损失函数汇总
爱CV
06-06 3297
weight (Tensor, optional) – 自定义的每个 batch 元素的 loss 的权重. 必须是一个长度为 “nbatch” 的 的 Tensor。weight (Tensor, optional) – 自定义的每个 batch 元素的 loss 的权重. 必须是一个长度 为 “nbatch” 的 Tensor。mean:返回loss和的平均值；weight (Tensor, optional) – 自定义的每个类别的权重. 必须是一个长度为 C 的 Tensor。
torch Loss函数（常用）
qq_43314342的博客
01-02 1936
1.cross_entropy F.cross_entropy 函数对应的类是torch.nn.CrossEntropyLoss，在使用时会自动添加logsoftmax然后计算loss（其实就是nn.LogSoftmax() 和nn.NLLLoss() 类的融合） 该函数用于计算多分类问题的交叉熵loss。 2.binary_cross_entropy_with_logits F.binary_cross_entropy_with_logits()对应的类是torch.nn.BCEWithLogits.
torch 模型训练-loss调优
liu's blog
01-07 694
模型loss 不下降 train loss 不断下降，test loss不断下降，说明网络仍在学习; train loss 不断下降，test loss趋于不变，说明网络过拟合; train loss 趋于不变，test loss不断下降，说明数据集100%有问题; train loss 趋于不变，test loss趋于不变，说明学习遇到瓶颈，需要减小学习率或批量数目; train loss 不断上升，test loss不断上升，说明网络结构设计不当，训练超参数设置不当，数据集经过清洗等问题。 原博客 神经
用torch实现求loss中包含一阶梯度项的二阶梯度求导
weixin_43947348的博客
06-24 838
如果我的loss中包含有一阶梯度项，该如何用torch进行求导。
损失函数
Poor - Because you have no ambition
09-05 1166
tensorflow和pytorch很多是相似的，此处以pytorch为例 1. L1范数损失 L1Loss 计算output和target之差的绝对值 torch.nn.L1Loss(reduction='mean') 参数：reduction的三个值，none：不适用约简；mean：返回loss的平均值；sum：返回loss的和。默认：mean 2. 均方误差损失MSELoss 计算outp...
pytorch中损失函数的使用
AI_dataloads的博客
09-21 1640
在PyTorch中，均方差（Mean Squared Error，MSE）损失函数可以用于回归问题。注意，你的预测值和真实值的维度应该匹配。在这个例子中，我们假设预测值和真实值都是一个大小为3的批量，每个样本有一个输出维度。注意，你的预测值和真实值的维度应该匹配。在这个例子中，我们假设预测值和真实值都是一个大小为3的批量，每个样本有一个输出维度。以上只是其中一部分内置损失函数，PyTorch还提供了许多其他损失函数，具体可以查阅官方文档以获取完整列表。然后，我们生成一些随机预测值和真实值。
torch笔记二 | 自动求梯度和损失函数
滨哥v5的博客
03-05 842
autograd包能够根据输入和前向传播过程自动构建计算图，并执行反向传播。
pytorch中关于分类问题损失函数的易混淆点——交叉熵损失的基本原理以及几种不同的实现
MIss-Y的博客
10-09 3458
前言：pytorch中有几个非常容易搞混淆的函数，它们是softmax和log_softmax，CrossEntropyLoss()和NLLLoss()，为了更加彻底的弄清楚，本文将分为两篇文章来说明，第一篇说明原理，第二篇说明用法。 一、二分类损失函数 1.1 从一个简单的实例说起 对于一个二分类问题，比如我们有一个样本，有两个不同的模型对他进行分类，那么它们的输出都应该是一个二维向量...
torch 损失函数
最新发布
04-30
### PyTorch 损失函数的使用方法与实现方式 #### 一、PyTorch 中常见的损失函数及其用途 PyTorch 提供了多种内置的损失函数，用于解决不同的机器学习问题。以下是几种常用的损失函数： 1. **NLLLoss**: `torch.nn.NLLLoss` 是一种负对数似然损失函数，适用于分类任务中的概率分布计算。为了配合该函数，模型输出通常会经过 `LogSoftmax` 转换为对数概率后再传入此函数[^1]。 2. **CrossEntropyLoss**: 这是一种集成化的损失函数，内部实现了 Softmax 和 NLLLoss 的功能，因此可以直接接受未经处理的原始分数作为输入[^4]。其定义如下： ```python import torch import torch.nn as nn # 定义 CrossEntropyLoss 函数 cross_entropy_loss = nn.CrossEntropyLoss() # 假设预测值和真实标签分别为 predictions 和 labels predictions = torch.randn(3, 4) # 批量大小为3，类别数为4 labels = torch.tensor([1, 2, 3]) # 对应的真实标签 # 计算交叉熵损失 loss = cross_entropy_loss(predictions, labels) print(loss) ``` 3. **MSELoss**: 平方误差损失函数 (`Mean Squared Error Loss`) 主要应用于回归问题中。可以通过调整参数 `reduction` 来控制返回的是均值还是逐项损失[^3]: ```python import torch import torch.nn as nn # 定义 MSE 损失函数 mse_loss_fn = nn.MSELoss(reduction='mean') # 输入张量和目标张量 input_tensor = torch.tensor([2.0, 4.0, 6.0]) target_tensor = torch.tensor([1.0, 3.0, 5.0]) # 计算 MSE 损失 loss = mse_loss_fn(input_tensor, target_tensor) print(loss) ``` 4. **自定义损失函数**: 如果现有的损失函数无法满足需求，可以手动编写新的损失函数。例如，在某些特定场景下可能需要设计特殊的对比损失或排序损失[^5]。 #### 二、具体实现细节分析 - **关于 NLLLoss 的实现**: 当前版本支持通过指定维度来执行 LogSoftmax 变换，并随后利用 NLLLoss 计算最终的结果。需要注意的是，默认情况下会对所有样本求平均；如果希望保留每条记录单独的损失值，则需设置参数 `reduction='none'`[^2]。 - **针对多类别的交叉熵优化**: 在实际项目里推荐优先选用 `nn.CrossEntropyLoss()` 替代组合形式（即分别调用 softmax 和 nllloss），因为前者不仅简化了代码逻辑而且性能更优[^4]。 - **灵活运用 reduction 参数**: 不同的任务背景决定了是否应该采用整体评估指标或者局部反馈机制。比如在训练初期阶段可能会倾向于观察个体表现以便及时发现问题所在；而后期则更加关注全局效果提升效率。 #### 三、总结说明 综上所述，合理选择并正确配置适合当前应用场景下的损失函数至关重要。无论是标准库提供的通用解决方案亦或是定制开发专属方案都需要充分理解各自特点以及适用范围才能达到最佳实践目的。 ```python import torch import torch.nn as nn # 自定义一个简单的线性网络结构 class SimpleNet(nn.Module): def __init__(self): super(SimpleNet, self).__init__() self.fc = nn.Linear(10, 3) def forward(self, x): return self.fc(x) model = SimpleNet() criterion = nn.CrossEntropyLoss() # 或者其他类型的损失函数 optimizer = torch.optim.SGD(model.parameters(), lr=0.01) inputs = torch.randn(5, 10) # 构造一批次随机数据 targets = torch.randint(0, 3, (5,)) # 随机生成对应的目标值 outputs = model(inputs) loss = criterion(outputs, targets) print(f"初始损失: {loss.item()}") optimizer.zero_grad() loss.backward() optimizer.step() ```
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值