pytorch学习笔记1 - loss max

最新推荐文章于 2023-07-24 09:09:51 发布
最新推荐文章于 2023-07-24 09:09:51 发布
阅读量992 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_41043240/article/details/80257402
这篇博客介绍了PyTorch中的loss函数，包括其参数如weight、size_average、ignore_index和reduce的使用。同时，文章还详细讲解了如何进行max操作，指出max函数可以返回最大值及其对应的索引，可以根据第二个参数按列或行求最大值。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. loss函数

https://pytorch.org/docs/stable/nn.html#loss-functions

torch.nn.CrossEntropyLoss(weight=None, size_average=True, ignore_index=-100, reduce=True)

参数：
weight (Tensor, optional) – a manual rescaling weight given to each class. If given, has to be a Tensor of size C
size_average (bool, optional) : False - sum of mibi-batch; True - average of mibi-batch.
ignore_index (int, optional) – 是否忽略某特定index对gradient的贡献，size_average = True, 忽略指定index目标的loss.
reduce (bool, optional) – False - 返回单个样本的loss， True - 按照size_average设定来计算loss

2. max

torch.max
最低0.47元/天 解锁文章

200万优质内容无限畅学
【简评】Loss Max-Pooling for Semantic Image Segmentation
人工智能
06-18 1572
https://zhuanlan.zhihu.com/p/27394105 【简评】Loss Max-Pooling for Semantic Image Segmentation ycszen 3 天前 这篇文章已经被CVPR2017收录，思想很明确，但是进行了很多数学证明，奈何数学功底不够啊，所以欢迎多多讨论交流。 本文主要解决的是semantic seg
【pytorch】模型常用函数（conv2d、linear、loss、maxpooling等）
qq_47982709的博客
09-17 855
实例化网络模型，并将激活后得到的图片在tensorboard中展示。实例化网络模型，并将池化后得到的图片在tensorboard中展示。实例化网络模型，并将卷积后得到的图片在tensorboard中展示。实例化网络模型，定义损失函数和优化器（反向传播）从数据集中加载数据（batch_size=64）我们进行迭代，并记录损失值。建立最大池化层网络模型。建立2维卷积网络模型。建立激活函数网络模型。
Pytorch十九种损失函数【NLLLoss、CrossEntropyLoss、BCELoss...】
u013250861的博客
09-27 988
参考资料： Pytorch十九种损失函数的使用详解
PyTorch学习—12.损失函数
柳杰的博客
07-30 1086
文章目录一、损失函数的概念二、损失函数1.nn.CrossEntropyLoss2. nn.NLLLoss3. nn.BCELoss4. nn.BCEWithLogitsLoss5.nn.L1Loss6. nn.MSELoss 一、损失函数的概念   损失函数：衡量模型输出与真实标签的差异。 损失函数(Loss Function)： Loss=????(????^,????)Loss = ????(\hat???? , ????)Loss=f(y^​,y) 注：损失函数是计算一个样本。 代价函数(Cost
torch.nn.CrossEntropyLoss
得克特
07-25 1039
交叉熵损失函数torch.nn.CrossEntropyLoss weight (Tensor, optional): a manual rescaling weight given to each class. If given, has to be a Tensor of size C 每个类别计算损失的权重 size_average (bool, optional): Deprecated (see :attr:reduction). By default, the losses are avera
Pytorch学习笔记----RNN/LSTM/GRU
weixin_43718287的博客
05-08 548
Pytorch学习笔记-----RNNRNNRNNCellHow to use RNNCellHow to use RNNUsing RNNCellone-hot编码Embedding in Pytorchpython列表解析基本列表解析条件列表解析嵌套列表解析 RNN RNNCell RNN的运行模式是左侧的图，拆分开来为右侧 h(t-1)送入RNNCell求h(t),h(0)代表先验 RNNCell的本质是一个Linear Layer for x in X: h=Linear(x,h) #h
PyTorch 学习笔记01 - 20210611
qq_42840712的博客
06-11 336
一、model.train()和model.eval()用法和区别 例如：定义一个网络： # 线性网络 class Net(nn.Module): def __init__(self): super(generator, self).__init__() self.gen = nn.Sequential( nn.Linear(100, 256), nn.ReLU(True), nn.Linear(
[Pytorch]＜动手学深度学习＞pytorch笔记-----SoftMax回归
weixin_43606201的博客
10-10 404
1.引入需求:分类问题 让我们考虑一个简单的图像分类问题，其输入图像的高和宽均为2像素，且色彩为灰度。这样每个像素值都可以用一个标量表示。我们将图像中的4像素分别记为x1,x2,x3,x4​。假设训练数据集中图像的真实标签为狗、猫或鸡（假设可以用4像素表示出这3种动物），这些标签分别对应离散值y1,y2,y3. 我们通常使用离散的数值来表示类别，例如y1=1,y2=2,y3=3。如此，一张图像的标签为1、2和3这3个数值中的一个。虽然我们仍然可以使用回归模型来进行建模，并将预测值就近定点化到1、2和3这
（十八）pytorch学习笔记---内容为学习资源摘录整合のRNN 用于时间序列的分析
weixin_40245436的博客
08-16 469
RNN 用于时间序列的分析 前面我们讲到使用 RNN 做简单的图像分类的问题，但是 RNN 并不擅长此类问题，下面我们讲一讲如何将 RNN 用到时间序列的问题上，因为对于时序数据，后面的数据会用到前面的数据，LSTM 的记忆特性非常适合这种场景。 首先我们可以读入数据，这个数据是 10 年飞机月流量，可视化得到下面的效果。 import numpy as np import pandas a...
12个必须了解的Pytorch损失函数
新缸中之脑
07-24 511
我们之前说过，损失函数告诉我们模型在特定数据集上的表现如何。从技术上讲，它是通过测量预测值与实际值的接近程度来实现这一点的。当我们的模型做出的预测非常接近训练和测试数据集的实际值时，这意味着我们有一个非常稳健的模型。尽管损失函数为我们提供了有关模型性能的关键信息，但这并不是损失函数的主要功能，因为有更强大的技术来评估我们的模型，例如准确性和 F 分数。损失函数的重要性主要是在训练过程中认识到的，我们在训练中将模型的权重推向最小化损失的方向。
torch.nn.CrossEntropyLoss的相关
zz2230633069的博客
10-13 1万+
 参数可以看下面 class CrossEntropyLoss(_WeightedLoss): def __init__(self, weight=None, size_average=True, ignore_index=-100, reduce=True): pass def forward(self, input, target): pass 解释:网上的一些...
[PyTorch 学习笔记] 4.2 损失函数
张贤的博客
09-02 760
本章代码： https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson4/loss_function_1.py https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson4/loss_function_1.py 这篇文章主要介绍了损失函数的概念，以及 PyTorch 中提供的常用损失函数。 损失函数 损失函数是衡量模型输出与真实标签之间的差异。我们还经常听到.
PyTorch中的Loss Fucntion
热门推荐
chenxueying1993的专栏
06-23 1万+
转载：http://sshuair.com/2017/10/21/pytorch-loss/PyTorch中的Loss Fucntion       深度学习中的Loss Function有很多，常见的有L1、L2、HingeLoss、CrossEntropy，其最终目的就是计算预测的f(x)f(x) 与真值 yy 之间的差别，而优化器的目的就是minimize这个差值，当loss的值稳定后，便是...
关于nn.CrossEntropyLoss交叉熵损失中weight和ignore_index参数
Henry的博客
04-13 8928
因为，label = 1有一个，label = 0 有两个，所以1的样本较少，这里就对label = 1设置权重大点。所以，loss = -(ln0.69+ln0.3543+ln0.5987)/3 = -（ln0.1464） / 3 = 0.6406。所以，在样本不均衡的情况下，加label少的样本，w加大，可以将loss变大，从而梯度下降的时候可以更好的弥补样本不平衡的问题。可以发现，label 是 0 1 2 三类，这里将label = 2的忽略，并且对0 1 2施加的权重为 2 1 2。
损失函数简介
weixin_46319994的博客
02-25 4186
损失函数的作用：衡量模型预测的好坏。 简单来说就是，损失函数就是用来表现预测与真实数据的差距程度。 令 真实值 为Y，预测值为 f(x)，损失函数为L( Y , f(x）），关系如下： 损失函数（loss funtion）是用来估量模型的预测值和真实值的不一样程度，它是一个非负实值函数。损失函数越小，模型的鲁棒性就越好。 例子： X：门店数 Y：销量 我们会发现销量随着门店数上升而上升。于是我们就想要知道大概门店和销量的关系是怎么样的呢？ 我们根据图上的点描述出一条直线： .
pytorch中loss总结
Fan9_的博客
04-02 4451
Pytorch中分类loss总结 近期在学习pytorch时，发现分类算法在输出时不写激活层如softmax激活/sigmoid激活。并且pytorch文档中除了softmax激活/sigmoid激活外，还有logsoftmax/logsigmoid。以及torch的loss函数会把激活和损失计算都整合到一起计算，给的解释是为了获得更好的数值稳定性。为了弄清这一切，进行了以下探索。并将自己涉及的...
交叉熵损失函数分类_PyTorch学习笔记——多分类交叉熵损失函数
weixin_35129495的博客
01-30 3009
理解交叉熵关于样本集的两个概率分布p和q，设p为真实的分布，比如[1, 0, 0]表示当前样本属于第一类，q为拟合的分布，比如[0.7, 0.2, 0.1]。按照真实分布p来衡量识别一个样本所需的编码长度的期望，即平均编码长度(信息熵)：如果使用拟合分布q来表示来自真实分布p的编码长度的期望，即平均编码长度(交叉熵)：直观上，用p来描述样本是最完美的，用q描述样本就不那么完美，根据吉布斯不等式， ...
5.深度学习 ② 常用损失函数 1）
驽马十驾，功在不舍；锲而不舍，金石可镂。
05-04 8318
loss函数大全参考文件 平均绝对误差（MAE）/L1 Loss 当torch.nn.L1Loss的参数reduction选择’sum’时即为L1 loss； 当选择 ‘mean’ /'none’时，即为MAE。 KaTeX parse error: Can't use function '\]' in math mode at position 74: …_i^p} \right|} \̲]̲............
浅谈人脸识别中的loss 损失函数
liguiyuan的博客
04-17 1万+
在人脸识别中，算法的提高主要体现在损失函数的设计上，损失函数会对整个网络的优化有着导向性的作用。我们看到许多常用的损失函数，从传统的softmax loss到cosface, arcface 都有这一定的提高，这篇文章自己就来整理下这几个算法。 无论是SphereFace、CosineFace还是ArcFace的损失函数，都是基于Softmax loss来进行修改的。 Base l...
pytorch土堆
最新发布
04-03
### 关于 PyTorch 中与“土堆”相关的实现 在 PyTorch 的学习资源中，“小土堆”的教程是一个非常受欢迎的教学系列，尤其是在 B 站上发布的《PyTorch 学习笔记》[^1]。该系列涵盖了从基础到高级的各种主题，适合初学者快速入门并深入理解 PyTorch。 #### 一、核心概念解析 1. **数据预处理** 使用 `transforms.ToTensor()` 可以轻松地将 PIL 图像或 NumPy 数组转换为 PyTorch 能够处理的张量类型。这是构建深度学习模型的第一步，通常用于加载和准备训练数据集。 2. **自定义模型结构** 继承 `nn.Module` 是构建神经网络的核心方法之一[^2]。通过这种方式，开发者能够灵活设计自己的模型架构，并利用框架内置的功能完成参数管理和其他操作。 3. **环境配置技巧** 如果您使用 Anaconda 创建新的 Python 环境，则可以通过命令行激活目标环境后运行特定包安装指令来设置 Jupyter Notebook 支持[^3]。例如： ```bash conda activate your_env_name conda install nb_conda ``` 4. **CUDA 功能检测** 利用 `torch.cuda.is_available()` 函数可以判断当前设备是否支持 GPU 加速计算[^4]。此函数返回布尔值 True 或 False 表明硬件兼容情况以及驱动程序状态正常与否。 #### 二、实际案例演示——手写数字识别 MNIST 数据集分类器 以下是基于上述理论知识编写的一个简单示例代码片段： ```python import torch from torchvision import datasets, transforms from torch.utils.data import DataLoader import torch.nn as nn import torch.optim as optim # 定义超参数 batch_size = 64 learning_rate = 0.01 epochs = 5 # 数据变换规则 transform = transforms.Compose([ transforms.ToTensor(), # 将图片转成 Tensor 并缩放到 [0,1] 区间 ]) # 下载 MNIST 数据集 train_dataset = datasets.MNIST(root='./data', train=True, transform=transform, download=True) test_dataset = datasets.MNIST(root='./data', train=False, transform=transform) # 构建 Data Loader train_loader = DataLoader(dataset=train_dataset, batch_size=batch_size, shuffle=True) test_loader = DataLoader(dataset=test_dataset, batch_size=batch_size, shuffle=False) # 自定义 CNN 模型 class SimpleCNN(nn.Module): # 继承 nn.Module 基类 def __init__(self): super(SimpleCNN, self).__init__() self.conv_layer = nn.Sequential( nn.Conv2d(1, 10, kernel_size=5), nn.MaxPool2d(2), nn.ReLU(), nn.Conv2d(10, 20, kernel_size=5), nn.Dropout2d(), nn.MaxPool2d(2), nn.ReLU() ) self.fc_layer = nn.Linear(320, 10) # 输出层有十个类别 def forward(self, x): out = self.conv_layer(x) out = out.view(-1, 320) # 展平 tensor out = self.fc_layer(out) return out model = SimpleCNN() if torch.cuda.is_available(): # 若存在可用 CUDA 设备则迁移至 GPU 上执行运算 model = model.cuda() criterion = nn.CrossEntropyLoss() # 设置损失函数 optimizer = optim.SGD(model.parameters(), lr=learning_rate) # 配置优化算法 for epoch in range(epochs): total_loss = 0 correct_predictions = 0 for data, target in train_loader: if torch.cuda.is_available(): data, target = data.cuda(), target.cuda() optimizer.zero_grad() # 清零梯度缓存 output = model(data) # 正向传播过程 loss = criterion(output, target) # 计算误差 loss.backward() # 执行反向传播更新权重 optimizer.step() # 应用梯度下降调整参数 _, predicted = torch.max(output, dim=1) total_loss += loss.item()*data.size(0) correct_predictions += (predicted == target).sum().item() avg_loss = total_loss / len(train_loader.dataset) accuracy = correct_predictions / len(train_loader.dataset)*100. print(f'Epoch {epoch+1}/{epochs}, Loss: {avg_loss:.4f}, Accuracy: {accuracy:.2f}%') print('Training completed.') ``` 以上脚本展示了如何运用 PyTorch 来解决经典的图像分类问题，其中涉及到了多个重要组件的应用场景。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值