torch的常用损失函数

最新推荐文章于 2024-04-19 15:34:46 发布
原创 最新推荐文章于 2024-04-19 15:34:46 发布 · 1.3k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

转载自：https://blog.youkuaiyun.com/Coco825211943/article/details/82195036

               https://blog.youkuaiyun.com/zziahgf/article/details/80196376

nn.L1Loss

nn.MSELoss（均方损失函数）

nn.BCELoss（Binary Cross Entropy二分类交叉熵）

nn.CrossEntropyLoss(多分类交叉熵)

nn.KLDivLoss（这个是重点）

class torch.nn.KLDivLoss(size_average=True, reduce=True)

作用:

相对熵, 也叫 KL 散度, Kullback-Leibler divergence Loss.

KL 散度用于估计连续分布的距离.

当对连续输出分布进行直接回归时, KL 散度比较有用.

输入 input 应该是在进行了一次 forward 来计算每个类别class 的 log-probabilities 概率.

输入 input 不一定是 2D Tensor, 因为其计算是逐元素进行的.

 

N - batchsize.

如果 reduce=True,

 参数:

享邑庆啊
关注
pytorch 损失函数总结
jacke121的专栏
09-22 2万+
PyTorch深度学习实战 4　损失函数 损失函数，又叫目标函数，是编译一个神经网络模型必须的两个参数之一。另一个必不可少的参数是优化器。 损失函数是指用于计算标签值和预测值之间差异的函数，在机器学习过程中，有多种损失函数可供选择，典型的有距离向量，绝对值向量等。 上图是一个用来模拟线性方程自动学习的示意图。粗线是真实的线性方程，虚线是迭代过程的示意，w1 是第一次迭代的权重，w2 是...
【Pytorch实用教程】torch.distributed.all_reduce详细介绍
最新发布
若北辰
08-06 2757
all_reduce操作将所有进程中的输入张量进行归约，并将结果分发到所有进程。它支持多种归约操作，例如求和（SUM）、最大值（MAX）、最小值（MIN）等。
PyTorch学习（7）：常用损失函数（CrossEntropyLoss, BCELoss, BCEWithLogitsLoss, L1Loss, MSELoss）
tecsai的博客
04-19 2982
在深度学习训练过程中，损失计算是非常重要的一环。有一种论调叫做“损失函数的设计在一定程度上决定了模型能干什么”。 PyTorch提供了许多损失计算函数，包括torch.nn.L1Loss，torch.MSELoss，torch.nn.CrossEntropyLoss，torch.nn.BCELoss，torch.nn.BCEWithLogitsLoss等。 具体可以参考如下连接：torch.nn — PyTorch 2.2 documentation
各类损失函数-pytorch
秀呀秀的博客
01-02 1181
转载地址：https://www.jishux.com/p/2a9ae1556486f8be 基类定义 pytorch损失类也是模块的派生，损失类的基类是_Loss,定义如下 class _Loss(Module): def __init__(self, size_average=None, reduce=None, reduction='elementwise_mean'): ...
pytorch中损失函数的reduce,size_average
u013548568的博客
08-09 1万+
size_average是说是不是对一个batch里面的所有的数据求均值 Reduce size_average result True True 对batch里面的数据取均值 True False 对batch里面的数据求和 False – returns a loss per batch element instead,这个...
TensorFlow基础1：reduce_sum()函数和reduce_mean()函数
闪电小飞侠
11-15 2万+
TensorFlow之reduce_sum()函数和reduce_mean()函数
Pytorch中torch.nn的损失函数
12-21
在本文中，我们将深入探讨三个常用的损失函数，分别是`BCELoss`、`BCEWithLogitsLoss`以及`MultiLabelSoftMarginLoss`，这些都是用于多标签分类任务的。 ### 一、`torch.nn.BCELoss(weight=None, size_average=True...
pytorch -- torch.nn下的常用损失函数
斑驳的岁月
02-26 833
【代码】pytorch -- torch.nn下的常用损失函数。
einops包中的rearrange，reduce, repeat及einops.layers.torch中的Rearrange，Reduce。对高维数据的处理方式
qq_41368074的博客
11-21 9103
from einops import rearrange, reduce, repeat from einops.layers.torch import Rearrange, Reduce 一.rearrange和Rearrange，作用：从函数名称也可以看出是对张量尺度进行重排， 区别： 1.einops.layers.torch中的Rearrange，用于搭建网络结构时对张量进行“隐式”的处理 例如： class PatchEmbedding(nn.Module): def __in.
torch里面的函数
qq_42987423的博客
11-02 1042
import torch from torch_scatter import scatter src = torch.range(1,24).view(2,6,2) index = torch.tensor([0, 1, 0, 1, 2, 1]) # Broadcasting in the first and last dim. out = scatter(src, index, dim=1, reduce="sum") print(src) print(out) Pytorch学习 （二十六）----
Pytorch Tensor的奇妙运算
w55100的博客
05-20 1万+
加法运算 1. 加号运算符 同型时，效果等同于点加 import torch a = torch.Tensor([1,2]) b = torch.Tensor([3,4]) c=a+b print(c) #tensor([4,6]) a = torch.Tensor([[1,2],[3,4]]) b = torch.Tensor([[5,6],[7,8]]) c=a+...
torch.distributed
weixin_36670529的博客
05-19 2万+
Backends torch.distributed supports three backends, each with different capabilities. The table below shows which functions are available for use with CPU / CUDA tensors. MPI supports CUDA only if th...
PyTorch 10大常用损失函数Loss Function详解
Cynthialy_的博客
04-13 1万+
目录 前言 一、损失函数 二、详解 1.回归损失 2.分类损失 三. 总结 前言 一、损失函数介绍 二、详解 1.L1 Loss 2. L2 Loss 3. Cross-Entropy Loss 4. Hinge Embedding Loss 5. NLL Loss 6.Margin Ranking Loss 7.KL Divergence Loss 8.Triplet Margin loss 总结 前言 损失函数在...
L1和L2正则
得克特
07-28 1066
文章目录正则化L1正则L2正则区别为什么权值衰减 正则化 L1正则 L1正则化是所有参数的绝对值之和，这就要求所有参数的绝对值之和最小，求导，导数可能为1或-1，而绝对值的取值是大于等于0的，那么就可能导致某些参数在更新的时候趋于0 L2正则 L2正则化是所有参数平方和，导数为2w2w2w，每个参数更新的量与参数www本身相关，www在更新时，会逐渐变慢，www逐渐变小趋于0，而不会变为0。 区别 L0和L1的区别： L0范数是指向量中非0的元素的个数，如果我们用L0范数来规则化一个参数矩阵W的话，希望W
详解torch SmoothL1Loss
牛肉胡辣汤
01-23 2645
在深度学习中，损失函数是评估模型性能的重要指标之一。SmoothL1Loss是一个常用的损失函数之一，在目标回归问题中，它可以在一定程度上平衡L1 Loss和L2 Loss。SmoothL1Loss是一种平滑的损失函数，它对于目标和预测之间的差异进行鲁棒的度量。SmoothL1Loss(x, y) = 0.5 * (x - y)^2, 如果|x - y| < 1= |x - y| - 0.5, 其他情况其中，x是预测值，y是目标值。
torch.nn.L1Loss用法
热门推荐
qq_36201400的博客
12-21 2万+
L1LOSS CLASS torch.nn.L1Loss(size_average=None,reduce=None,reduction: str = 'mean') 创建一个标准来测量输入x和目标y中每个元素之间的平均绝对误差（MAE）。 未减少的损失（即reduction设置为'none'）可以描述为： 其中 N是 batch size. 如果reduction不是'none'(默认为'mean'), 那么: x和y是任意形状的张量，每个张量总共有n个元素。 求...
彻底搞懂交叉熵、信息熵、相对熵、KL散度、交叉熵损失函数
晴明大大的创作中心
04-29 5035
熵 什么是熵呢？ 简单来讲，熵就是表示一个事件的确定性程度如何。 通常，一个信源发送出什么符号是不确定的，衡量它可以根据其出现的概率来度量。 比如假设事件Q，有A、B、C三种情况都是有概率性发生的，但是不定。如果其中A比B、C两种种发生的概率更大，那么事件Q发生A的可能性更加确定，换句话说，不确定性更小；如果其中A与B、C两种发生的概率都相等，那么事件Q发生A、B、C的情况都有可能，不确定会发生哪一个，换句话说，不确定性更大。 所以确定性程度越大（即不确定性程度越低），熵越小；确定性程度越低（即不确定性程度
torch.nn.BCELoss()=F.binary_cross_entropy()
zz2230633069的博客
05-27 1万+
class BCELoss(_WeightedLoss): def __init__(self, weight=None, size_average=True, reduce=True): super(BCELoss, self).__init__(weight, size_average, reduce) def forward(self, input, ta...
nn.BCELoss与nn.CrossEntropyLoss的区别
ANONYMOUSLYCN的专栏
06-18 2440
以前我浏览博客的时候记得别人说过，BCELoss与CrossEntropyLoss都是用于分类问题。可以知道，BCELoss是Binary CrossEntropyLoss的缩写，BCELoss　CrossEntropyLoss的一个特例，只用于二分类问题，而CrossEntropyLoss可以用于二分类，也可以用于多分类。 不过我重新查阅了一下资料，发现同样是处理二分类问题，BCELoss与Cr...
torch的损失函数
10-18
torch中常用的损失函数有很多种，以下是其中几种常见的： 1. nn.MSELoss：均方误差损失函数，用于回归问题。 2. nn.CrossEntropyLoss：交叉熵损失函数，用于分类问题。 3. nn.BCELoss：二元交叉熵损失函数，用于二分类问题。 4. nn.NLLLoss：负对数似然损失函数，用于多分类问题。 还有很多其他的损失函数，可以根据具体问题选择合适的损失函数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值