自定义博客皮肤VIP专享

*博客头图：

点击选择上传的图片

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

点击选择上传的图片

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

点击选择上传的图片

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览取消提交

自定义博客皮肤

上一步保存

爬虫叁号的学习笔记

爬虫叁号

博客等级

码龄8年

2
原创

167
点赞

253
收藏

19
粉丝

关注

私信

分类专栏

最新评论

对PyTorch中F.cross_entropy()函数的理解
ningzhao: https://pytorch.org/docs/stable/generated/torch.nn.functional.cross_entropy.html F.cross_entropy()支持两种形式的target输入,一种是比较常用的传入分类索引值，一种是传入分类概率值. # Example of target with class indices input = torch.randn(3, 5, requires_grad=True) target = torch.randint(5, (3,), dtype=torch.int64) loss = F.cross_entropy(input, target) loss.backward() # Example of target with class probabilities input = torch.randn(3, 5, requires_grad=True) target = torch.randn(3, 5).softmax(dim=1) loss = F.cross_entropy(input, target) loss.backward()
对PyTorch中F.cross_entropy()函数的理解
pit_man: cross_entropy（input，target）中对input做了softmax和log操作，得到N*C矩阵A，N是样本数，C是类别数，A矩阵中的值表示第n个样本属于第c类；对target做了one-hot操作，target本身只是类别索引，没有实际含义，做了one-hot以后，target也变成N*C的矩阵B，B中每一行中为1的位置对应A矩阵每一行最大的值。
对PyTorch中F.cross_entropy()函数的理解
Hello未来: torch.Size([N])这种类型应该是向量，只有torch.Size([])，例如torch.tensor(1.),它的shape是torch.Size([])才是标量。而维度不同却能矩阵的运算，应该是广播机制的原因导致的...我疑惑的点是为什么源码中它这段代码为啥这么写： # Example of target with class probabilities input2 = torch.randn(3, 5, requires_grad=True) target2=torch.randn(3,5) target2 = F.softmax(target2,dim=1) loss2 = F.cross_entropy(input2, target2) target2的shape和input2是一样的，这代表的什么呢？如果target2是一个数值，那应该可以理解为它属于某一类的损失情况吧。劳烦各位大佬帮忙解答下，感谢
对PyTorch中F.cross_entropy()函数的理解
煎茶  : 谢谢，我出错问题就是这个，标签应该从0开始，我的标签是从1开始，导致这个问题。谢谢博主，解决了。
对PyTorch中F.cross_entropy()函数的理解
还好了i: target在计算时，假如第一个样本是属于第一类，类似于会进行one-hot编码，[1,0,0...]，属于第二类[0,1,0..],所以最终target实际也是一个概率矩阵

工具类

关注

常用开发工具的基本操作

关注数：文章数：0 文章阅读量：0 文章收藏量：0

作者: 爬虫叁号

一个有理想的工科生

展开

专栏收录文章

空空如也