PyTorch使用技巧1：F.dropout加self.training、F.log_softmax

最新推荐文章于 2023-12-01 11:44:15 发布
原创 最新推荐文章于 2023-12-01 11:44:15 发布 · 1.5k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #深度学习 #python

博客主要介绍了Pytorch相关内容。一是self.training，涉及dropout方法在训练和验证/测试时的使用情况，以及Module的training属性、F.dropout和nn.Dropout的操作实现，还有training属性受train()和eval()方法影响的机制；二是F.log_softmax，介绍了其作用和函数语言格式。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在这里插入图片描述

1、self.training

dropout方法是将输入Tensor的元素按伯努利分布随机置0，具体原理此处不赘，以后待补。总之就是训练的时候要用dropout，验证/测试的时候要关dropout。

以下介绍Module的training属性，F(torch.nn.functional).dropout 和 nn(torch.nn).Dropout 中相应操作的实现方式，以及Module的training属性受train()和eval()方法影响而改变的机制。

方法来自论文：https://www.jmlr.org/papers/volume15/srivastava14a/srivastava14a.pdf

参考：https://blog.youkuaiyun.com/PolarisRisingWar/article/details/117754981

2、F.log_softmax

F.softmax作用:
按照行或者列来做归一化的
F.softmax函数语言格式:

# 0是对列做归一化，1是对行做归一化

F.softmax作用:按照行或者列来做归一化的
F.softmax函数语言格式:

# 0是对列做归一化，1是对行做归一化


F.softmax(x,dim=1) 或者 F.softmax(x,dim=0)

F.log_softmax作用:

在softmax的结果上再做多一次log运算

F.log_softmax函数语言格式:

F.log_softmax(x,dim=1) 或者 F.log_softmax(x,dim=0)

原文链接：https://blog.youkuaiyun.com/m0_51004308/article/details/118001835
参考：https://blog.youkuaiyun.com/m0_51004308/article/details/118001835

loss = -F.log_softmax(logits[:, -1, :], dim=1)[0, irrational_id]
ZJQ的博客
05-14 155
这行代码 loss = -F.log_softmax(logits[:, -1, :], dim=1)[0, irrational_id] 用于计算负对数似然损失，引导模型生成特定标签（如“偏激”）。首先，logits[:, -1, :] 提取模型最后一个时间步的预测分数，形状为 [batch_size, vocab_size]。接着，F.log_softmax(..., dim=1) 将 logits 转换为对数概率分布，确保数值稳定性。[0, irrational_id] 从对数概率分布中提取目标标签（
【PYG】处理Cora数据集分类任务使用的几个函数log_softmax，nll_loss和argmax
Never Give Up
07-02 1208
log-softmax 操作的主要作用是在多分类问题中计算模型的输出概率分布，并且在使用负对数似然损失（negative log-likelihood loss，通常用于分类任务）时特别有用。对于分类任务，这一步是必要的，因为模型的输出通常是每个类别的对数概率分布，我们需要从中选出概率最大的类别作为预测结果。这表示模型预测第一个样本的类别为1，第二个样本的类别为2，第三个样本的类别为1。通过这种方式，我们可以从模型的输出中提取每个样本的预测类别，用于后续的评估或其他处理。对于二维张量（例如批处理的数据），
Pytorch中易混淆的损失函数与激活函数【softmax, log_softmax, NLLLoss, CrossEntropy】
qq_43456497的博客
05-24 1874
softmax：将一个数值序列映射到概率空间（每个元素分布并且所有和为1）：在softmax的基础上取对数NLLLoss：对log_softmax与one-hot进行计算：衡量两个概率分布的差别（交叉熵）在分类问题中，CrossEntropy等价于log_softmax 结合 nll_loss。
Pytorch学习笔记(七):F.softmax()和F.log_softmax函数详解
源的博客
06-17 5万+
相关文章 Pytorch学习笔记(一):torch.cat()模块的详解 Pytorch学习笔记(二):nn.Conv2d()函数详解 Pytorch学习笔记(三):nn.BatchNorm2d()函数详解 Pytorch学习笔记(四):nn.MaxPool2d()函数详解 Pytorch学习笔记(五):nn.AdaptiveAvgPool2d()函数详解 Pytorch学习笔记(六):out.view(out.size(0), -1)和nn.Linear()函数详解 Pytorch学习笔记(七):F.s
pytorch---f.dropout
zxyhhjs2017的博客
09-28 1万+
作者：雷杰 链接：https://www.zhihu.com/question/67209417/answer/302434279 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。   刚踩的坑, 差点就哭出来了TT. --- 我明明加了一百个dropout, 为什么结果一点都没变   使用F.dropout ( nn.functional.dropout )...
PyTorch的F.dropout为什么要加self.training？
诸神缄默不语的博客
06-09 8227
解释了PyTorch的dropout层在torch.nn和torch.nn.functional中的不同应用，通过Module的training属性来调整应用，Module的train和eval方法如何改变training的值。
pytorch中编写代码实现Logsoftmax
qq_45952183的博客
11-23 1130
logsoftmax的torch代码实现与理论讲解，解决上下溢出问题。logsoftmax解决了softmax上溢问题。
import torch import torch.nn.functional as F from torch_geometric.nn import GCNConv class GCN(torch.nn.Module): def __init__(self, in_channels, hidden_channels, out_channels): super(GCN, self).__init__() self.conv1 = GCNConv(in_channels, hidden_channels) self.conv2 = GCNConv(hidden_channels, out_channels) def forward(self, x, edge_index): # 第一层卷积 + ReLU x = F.relu(self.conv1(x, edge_index)) # 第二层卷积 + LogSoftmax x = self.conv2(x, edge_index) return F.log_softmax(x, dim=1) # 初始化模型 model = GCN(dataset.num_node_features, 16, dataset.num_classes) optimizer = torch.optim.Adam(model.parameters(), lr=0.01, weight_decay=5e-4)
最新发布
03-25
x = torch.dropout(x, p=self.dropout, training=self.training) # 最后的卷积层不需要激活函数 x = self.convs[-1](x, edge_index) return x # 示例：创建一个具有两层的GCN模型 model = GCN( num_...
Pytorch深度学习入门：60分钟闪电战
fangshuo_light的博客
05-28 1715
1. 学习基础知识 大多数机器学习工作流程涉及处理数据、创建模型、优化模型参数和保存训练好的模型。本教程向你介绍一个用PyTorch实现的完整的ML工作流程，并提供链接来了解这些概念中的每一个。 我们将使用FashionMNIST数据集来训练一个神经网络，预测输入图像是否属于以下类别之一。T恤/上衣、长裤、套头衫、连衣裙、外套、凉鞋、衬衫、运动鞋、包、或踝靴。 本教程假定对Python和深度学习概念有基本的熟悉。 运行教程代码 你可以用几种方式运行这个教程。 在云中。这是最简单的入门方法 每个..
# 环境需求：pip install torch torch_geometric import torch import torch.nn.functional as F from torch_geometric.data import Data, Dataset from torch_geometric.nn import GCNConv from torch_geometric.loader import DataLoader # 1. 定义GNN模型 class FaultDetector(torch.nn.Module): def __init__(self, num_features, hidden_dim): super().__init__() self.conv1 = GCNConv(num_features, hidden_dim) self.conv2 = GCNConv(hidden_dim, 2) # 二分类输出 def forward(self, data): x, edge_index = data.x, data.edge_index x = self.conv1(x, edge_index) x = F.relu(x) x = F.dropout(x, training=self.training) x = self.conv2(x, edge_index) return F.log_softmax(x, dim=1) # 2. 生成模拟数据（实际使用时需替换为真实数据） def generate_sample(): # 节点特征（假设每个节点有5个传感器特征） x = torch.randn(10, 5) # 10个节点，每个节点5个特征 # 边连接（随机生成示例拓扑） edge_index = torch.tensor([[0, 1, 2, 3, 4, 5, 6, 7, 8], [1, 2, 3, 4, 5, 6, 7, 8, 9]], dtype=torch.long) # 标签（随机生成示例标签，0表示正常，1表示故障） y = torch.tensor([0, 1, 0, 1, 0, 0, 1, 0, 1, 0], dtype=torch.long) return Data(x=x, edge_index=edge_index, y=y) # 3. 训练参数设置 device = torch.device('cpu') model = FaultDetector(num_features=5, hidden_dim=16).to(device) optimizer = torch.optim.Adam(model.parameters(), lr=0.01) # 4. 训练循环 def train(): model.train() data = generate_sample().to(device) for epoch in range(100): optimizer.zero_grad() out = model(data) loss = F.nll_loss(out, data.y) loss.backward() optimizer.step() if epoch % 10 == 0: pred = out.argmax(dim=1) correct = (pred == data.y).sum().item() acc = correct / data.y.size(0) print(f'Epoch {epoch:3d} | Loss: {loss:.4f} | Acc: {acc:.2f}') # 5. 执行训练 if __name__ == "__main__": train()显示这段代码的运行结果
03-20
好的，用户让我分析他提供的PyTorch Geometric代码的运行结果，并且需要显示代码的输出。首先，我需要仔细阅读代码，理解每一部分的功能，然后预测可能的运行结果。 首先，用户定义了一个GNN模型FaultDetector，...
python pytorch_Python:PyTorch 保存和加载训练过的网络 (八十)
weixin_39739395的博客
12-03 563
保存和加载模型在这个 notebook 中，我将为你展示如何使用 Pytorch 来保存和加载模型。这个步骤十分重要，因为你一定希望能够加载预先训练好的模型来进行预测，或是根据新数据继续训练。%matplotlib inline%config InlineBackend.figure_format = 'retina'import matplotlib.pyplot as pltimport to...
python log函数_python编写softmax函数、交叉熵函数实例
weixin_39712705的博客
11-27 165
python代码如下：import numpy as np # Write a function that takes as input a list of numbers, and returns # the list of values given by the softmax function. def softmax(L): pass expL = np.exp(L) sumEx...
F.log_softmax
SN的博客
12-01 603
（深度学习）Pytorch之dropout训练
热门推荐
junbaba_的博客
04-22 6万+
(深度学习)Pytorch学习笔记之dropout训练 Dropout训练实现快速通道：点我直接看代码实现 Dropout训练简介 在深度学习中，dropout训练时我们常常会用到的一个方法——通过使用它，我们可以可以避免过拟合，并增强模型的泛化能力。 通过下图可以看出，dropout训练训练阶段所有模型共享参数，测试阶段直接组装成一个整体的大网络： 那么，我们在深度学习的有力工具——Pytor...
pytorch基础操作(七)暂退法（dropout）
qq_44665283的博客
12-26 1771
暂退法（dropout）
【总结】PyTorch多分类log_softmax、softmax的中文手册
江南蜡笔小新
04-01 4567
【总结】PyTorch多分类log_softmax、softmax的区别与联系 log_softmax、softmax在F和nn中存在，在此主要介绍nn 1.softmax torch.nn.functional.softmax (Python function, in torch.nn.functional) torch.nn.Softmax (Python class, in torch.n...
【pytorch】Softmax，LogSoftmax，CrossEntropyLoss，NLLLoss，F.cross_entropy， F.binary_cross_entropy傻傻分不清楚？
x66ccff
01-13 1257
在实际应用中，如果发现模型训练过程中出现数值稳定性问题，或者需要加速训练过程，使用 LogSoftmax + NLLLoss 可能是一种较优的选择。在计算损失时，使用 NLLLoss 计算对数似然损失需要进行一次对数运算，而 CrossEntropyLoss 需要进行两次对数运算。在输入数值较大时，使用 Softmax 会导致溢出，而 LogSoftmax 则不会。而 LogSoftmax 之后，得到预测概率分布的对数。可以看到，这两种搭配方法计算的结果是一致的。，负对数似然损失就是将两个分布。
torch.from_numpy()、torch.view()、torch.masked_select()、 F.softmax() 、F.log_softmax()、torch.mean()函数
凌波漫步~
08-27 928
torch.from_numpy()、torch.view()、torch.masked_select()、 F.softmax() 、F.log_softmax()、torch.mean()函数
pytorch 里的log_softmax, nll_loss, cross_entropy
shuijinghua的博客
11-28 1万+
import torch.nn.functional as F 常用的函数有： log_softmax,nll_loss, cross_entropy 1.log_softmax, 就是log和softmax合并在一起执行 2. nll_loss ,函数全称是negative log likelihood loss, 函数表达式为 例如：假设x=[1,2,3], class=2...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

源代码杀手

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值