pytorch BUG :.grad=NONE？ pytorch参数的使用

原创 已于 2022-09-15 15:42:32 修改 · 4.4k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #深度学习 #人工智能

于 2022-08-31 09:00:00 首次发布
部署运行你感兴趣的模型镜像

      在实验中，输出发现网络的某个新增的参数不更新。在输出 tensor.grad=NONE。然后查找资料进行修改输出从

tensor([0.9925], device='cuda:0', grad_fn=<CopyBackwards>)
tensor([0.9925], device='cuda:0', grad_fn=<CopyBackwards>)

变为了：tensor([0.4926], device='cuda:0', requires_grad=True)

原因：对需要求梯度的张量做了一次to(device)导致叶节点发生变化。

修改方案

self.A = torch.nn.Parameter(torch.rand(10, 20),requires_grad=True).cuda()

改为

self.A = torch.nn.Parameter(torch.rand(10, 20,device = torch.device('cuda')),requires_grad=True)#.cuda()

注

    print(type(model.named_parameters()))
    for name, param in model.named_parameters():
        print(name, param.size())

并且

self.C = torch.nn.Parameter(torch.rand(1000,2000,device=torch.device('cuda')),requires_grad=False)* self.B

与

self.A = torch.nn.Parameter(torch.rand(1000,2000,device=torch.device('cuda')),requires_grad=False)
self.C = self.A* self.B

的网络参数输出也不同，后者会包含self.A和self.B，前者只有self.B。

参考与更多

https://www.youkuaiyun.com/tags/MtTagg4sMDYxMjktYmxvZwO0O0OO0O0O.html

您可能感兴趣的与本文相关的镜像

PyTorch 2.5

PyTorch 2.5

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

RuntimeError: lines.type().is_cuda()INTERNAL ASSERT FAILED at ““, please report a bug to PyTorch.
沉迷单车的追风少年
12-19 1365
复现sketch R2CNN代码，neuralline rasterize操作。
电赛K230部署报错：部署yolo在下载whl文件时出现报错：Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simple...如何解决？
**My Coding Family**
08-12 902
🏆本文收录于 《全栈Bug调优(实战版)》 专栏，该专栏专注于分享我在真实项目开发中遇到的各类疑难Bug及其深层成因，并系统提供高效、可复现的解决思路和实操方案。无论你是刚入行的新手开发者，还是拥有多年项目经验的资深工程师，本专栏都将为你提供一条系统化、高质量的问题排查与优化路径，助力你加速成长，攻克技术壁垒，迈向技术价值最大化与职业发展的更高峰🚀！
pytorch损失反向传播后梯度为none
qq_45862324的博客
02-01 6028
错误代码：输出grad为none a = torch.ones((2, 2), requires_grad=True).to(device) b = a.sum() b.backward() print(a.grad) 由于.to(device)是一次操作，此时的a已经不是叶子节点了 修改后的代码为： a = torch.ones((2, 2), requires_grad=True) c = a.to(device) b = c.sum() b.backward() print(a.grad)
Pytorch 张量 requires_grad=True，但是梯度为None的情况
FLYXJX的博客
11-02 2557
将 (5,) 的张量转换为了 (1, 5) 的张量去和 func 进行计算。这个是函数，就是两个个初等函数相加，再加上一个随机数（模拟噪声）。然后用五阶泰勒展开来模拟这条曲线，不了解泰勒展开的同学可以先去了解一下泰勒展开，不用管他的余项是什么，咱关注点不是这个。不是因为view返回了一个形状不同数据相同的张量引起的错误，我 DeBug 的时候看过requires_grad，依然是 True。但是，这不是没有梯度，而是放在了其他的地方。前面的常数就是我们要学习的参数，我出错就是因为这个东西。
Python记录 tensor求梯度时为None的错误
weixin_47681965的博客
07-15 1242
发现是requires_grad位置不对，应该是tensor放入cuda后，requires_grad默认改成False。今天学习对抗样本，需要对tensor求梯度，
卷积核的grad为none_pytorch入门与实践（1）：张量的基本操作和自动微分requires_grad=True...
weixin_36035610的博客
01-16 1322
PyTorch是一个基于Python的库，提供了一个具有灵活易用的深度学习框架，是近年来最受欢迎的深度学习框架之一。如果你是新新新手，可以先学习以下教程： 深度学习之PyTorch实战-基础学习及搭建环境 PyTorch中文文档改编自：(1) DEEP LEARNING WITH PYTORCH: A 60 MINUTE BLITZ (2) https://www.kesci.com/hom...
PyTorch的学习笔记02 - backward( )函数
热门推荐
风海流的豪赌
07-16 5万+
0.4.0版教程。 20191126更新：添加了关于CopySlices backwar函数的讨论。 创建一个Tensor时，使用requires_grad参数指定是否记录对其的操作，以便之后利用backward()方法进行梯度求解。 一个Tensor的requires_grad成员保存该Tensor是否记录操作用于计算梯度。 可利用requires_grad_()方法修改Tenso...
pytorch训练模型，grad为None
有头脑和超高兴
11-19 977
【代码】pytorch训练模型，grad为None。
pytorch | loss不收敛或者训练中梯度grad为None的问题
Rilkean Heart
04-04 9638
关于使用pytorch时loss不收敛或者grad为None的问题，以及笔者常用的demo
param.grad、requires_grad、grad_fn、grad/梯度为None？
Drug discovery
07-29 5879
计算图中的节点分为叶子节点和非叶子节点，叶子节点可以理解成不依赖其他tensor的tensor（例如b = a+1，那么b就是叶子节点），在使用backward()函数进行反向传播计算tensor的梯度时，并不是计算所有的tensor的梯度，而是计算满足这几个条件的tensor的梯度，子节点张量而是中间节点(中间节点张量). 如果该张量的属性requires_grad=True,叶子节点张量的属性grad中,不会在中间节点张量的属性grad中保存这个张量的梯度,这是。
TypeError: empty() received an invalid combination of arguments - got (tuple, dtype=str, device=str), but expected one of: * (tuple of ints size, *, tuple of names names, torch.memory_format memory_format = None, torch.dtype dtype = None, torch.layout layout = None, torch.device device = None, bool pin_memory = False, bool requires_grad = False) * (tuple of ints size, *, torch.memory_format memory_format = None, Tensor out = None, torch.dtype dtype = None, torch.layout layout = None, torch.device device = None, bool pin_memory = False, bool requires_grad = False)
03-10
对于 `torch.empty(*size, *, dtype=None, device=None, requires_grad=False)` 方法而言，其接受的位置参数应仅限于尺寸规格，而关键字参数则用于指定数据类型、设备以及梯度需求。 具体到此案例中的错误提示表明...
✅ 学习建议：如何从这个脚本进阶？ ✅ 把 BoW 替换成 TF-IDF 或 One-Hot ✅ 添加 ReLU 激活函数 ✅ 改成多分类任务（3 类情绪） ✅ 引入 sklearn 做对比实验 ✅ 用 PyTorch 重写这个流程 ✅ 最终迁移到 Hugging Face + Transformers # ======================================== # 🧠 纯 Python 实现的 AI 模型全流程 # 包括：数据处理 → 模型定义 → 训练 → 保存 → 推理 # 无需 PyTorch/TensorFlow，仅使用 numpy 和标准库 # ======================================== import numpy as np import pickle import re from collections import Counter import random # ================================ # 1. 模拟数据集（正面/负面评论） # ================================ def create_dataset(): positive_texts = [ "I love this movie it's amazing", "great acting and wonderful story", "best film ever watched", "highly recommended excellent quality", "beautiful cinematography and music" ] negative_texts = [ "this movie is terrible and boring", "awful acting waste of time", "worst film I have ever seen", "boring plot and bad editing", "not recommended at all" ] texts = positive_texts + negative_texts labels = [1] * len(positive_texts) + [0] * len(negative_texts) return texts, labels texts, labels = create_dataset() print("✅ 数据集创建完成") for t, l in zip(texts, labels): print(f" '{t}' -> {l}") # ================================ # 2. 文本预处理与词汇表构建 # ================================ def clean_text(text): text = re.sub(r'[^a-zA-Z\s]', '', text.lower()) return text.strip() def build_vocab(texts, min_freq=1): words = [] for text in texts: cleaned = clean_text(text) words.extend(cleaned.split()) freq = Counter(words) vocab = {'<PAD>': 0, '<UNK>': 1} for word, count in freq.items(): if count >= min_freq: vocab[word] = len(vocab) return vocab vocab = build_vocab(texts) print(f"\n✅ 构建词汇表完成，大小: {len(vocab)}") print("示例:", dict(list(vocab.items())[:10])) # ================================ # 3. 文本向量化（Bag-of-Words） # ================================ def text_to_bow(text, vocab): vec = np.zeros(len(vocab)) cleaned = clean_text(text) for word in cleaned.split(): idx = vocab.get(word, 1) # <UNK> vec[idx] += 1 return vec X = np.array([text_to_bow(t, vocab) for t in texts]) y = np.array(labels).reshape(-1, 1) print(f"\n✅ 向量化完成 X.shape={X.shape}, y.shape={y.shape}") print("示例向量:", X[0][:10]) # ================================ # 4. 定义神经网络（MLP） # ================================ class SimpleNN: def __init__(self, input_size, hidden_size=8, output_size=1): self.W1 = np.random.randn(input_size, hidden_size) * 0.5 self.b1 = np.zeros((1, hidden_size)) self.W2 = np.random.randn(hidden_size, output_size) * 0.5 self.b2 = np.zeros((1, output_size)) self.lr = 0.01 def sigmoid(self, z): # 防止溢出 z = np.clip(z, -500, 500) return 1 / (1 + np.exp(-z)) def sigmoid_derivative(self, a): return a * (1 - a) def forward(self, X): self.z1 = np.dot(X, self.W1) + self.b1 self.a1 = self.sigmoid(self.z1) self.z2 = np.dot(self.a1, self.W2) + self.b2 self.a2 = self.sigmoid(self.z2) return self.a2 def backward(self, X, y_true): m = X.shape[0] # 输出层误差 dz2 = (self.a2 - y_true) * self.sigmoid_derivative(self.a2) dW2 = np.dot(self.a1.T, dz2) / m db2 = np.sum(dz2, axis=0, keepdims=True) / m # 隐藏层误差 da1 = np.dot(dz2, self.W2.T) dz1 = da1 * self.sigmoid_derivative(self.a1) dW1 = np.dot(X.T, dz1) / m db1 = np.sum(dz1, axis=0, keepdims=True) / m # 更新参数 self.W2 -= self.lr * dW2 self.b2 -= self.lr * db2 self.W1 -= self.lr * dW1 self.b1 -= self.lr * db1 def train_step(self, X, y): pred = self.forward(X) loss = -np.mean(y * np.log(pred + 1e-8) + (1 - y) * np.log(1 - pred + 1e-8)) self.backward(X, y) return loss def predict(self, X): prob = self.forward(X) return (prob > 0.5).astype(int), prob # 初始化模型 model = SimpleNN(input_size=X.shape[1], hidden_size=6) print(f"\n✅ 模型初始化完成 W1:{model.W1.shape} W2:{model.W2.shape}") # ================================ # 5. 训练模型 # ================================ epochs = 1000 for epoch in range(epochs): loss = model.train_step(X, y) if epoch % 200 == 0: print(f"Epoch {epoch}, Loss: {loss:.4f}") print("\n✅ 训练完成") # ================================ # 6. 评估与推理测试 # ================================ pred_label, pred_prob = model.predict(X) print("\n📊 训练集预测结果:") for i, text in enumerate(texts): real = y[i][0] pred = pred_label[i][0] prob = pred_prob[i][0] status = "✅" if real == pred else "❌" print(f"{status} '{text}' -> 真实:{real} 预测:{pred} (置信度:{prob:.2f})") # ================================ # 7. 保存模型和词汇表 # ================================ def save_model(model, vocab, filepath): data = { 'W1': model.W1, 'b1': model.b1, 'W2': model.W2, 'b2': model.b2, 'vocab': vocab } with open(filepath, 'wb') as f: pickle.dump(data, f) print(f"\n💾 模型已保存至 {filepath}") save_model(model, vocab, "simple_nlp_model.pkl") # ================================ # 8. 加载模型并进行新推理 # ================================ def load_and_predict(text, model_path, vocab): with open(model_path, 'rb') as f: data = pickle.load(f) # 重建模型结构 class InferenceModel: def __init__(self, data): self.W1 = data['W1'] self.b1 = data['b1'] self.W2 = data['W2'] self.b2 = data['b2'] def sigmoid(self, z): z = np.clip(z, -500, 500) return 1 / (1 + np.exp(-z)) def forward(self, x): z1 = np.dot(x, self.W1) + self.b1 a1 = self.sigmoid(z1) z2 = np.dot(a1, self.W2) + self.b2 a2 = self.sigmoid(z2) return a2 loaded_model = InferenceModel(data) vector = text_to_bow(text, vocab).reshape(1, -1) prob = loaded_model.forward(vector)[0][0] pred = 1 if prob > 0.5 else 0 print(f"\n🔍 新句子推理: '{text}'") print(f" 预测类别: {pred} (正面情绪)" if pred == 1 else f" 预测类别: {pred} (负面情绪)") print(f" 置信度: {prob:.2f}") return pred, prob # 测试新句子 load_and_predict("I really enjoyed this fantastic movie", "simple_nlp_model.pkl", vocab) load_and_predict("this is a terrible and boring film", "simple_nlp_model.pkl", vocab) 把进阶的完整代码给我，并标注修改的部分以及原因
最新发布
11-26
# ✅ 使用 PyTorch 重写整个流程 # ================================ class TorchMLP(nn.Module): def __init__(self, input_size, hidden_size, num_classes): super(TorchMLP, self).__init__() self.fc1 = nn...
在运行omniparser的时候反反复复遇到的一个问题：Traceback (most recent call last)...如何解决？
**My Coding Family**
08-03 1002
🏆本文收录于 《全栈Bug调优(实战版)》 专栏，该专栏专注于分享我在真实项目开发中遇到的各类疑难Bug及其深层成因，并系统提供高效、可复现的解决思路和实操方案。无论你是刚入行的新手开发者，还是拥有多年项目经验的资深工程师，本专栏都将为你提供一条系统化、高质量的问题排查与优化路径，助力你加速成长，攻克技术壁垒，迈向技术价值最大化与职业发展的更高峰🚀！
Pytorch损失反向传播后参数梯度为None
weixin_43751558的博客
04-08 5077
错误代码：反向传播后输出factor参数的grad为None factor = torch.ones(num, requires_grad=True) self.factor = torch.nn.Parameter(factor).cuda() 错误原因：self.factor经过一次.cuda()操作后就不再是叶子结点了。 修改后代码： factor = torch.ones(num, requires_grad=True) self.factor = torch.nn.Param
Pytorch反向传播梯度始终为None
fengyu7789的博客
03-01 4892
原因 可能在将需要求梯度的tensor放置在cuda上时出错，如 import torch device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') x = torch.rand(10, 3).to(device) w = torch.rand(3, 1, requires_grad=True).to(device) t = (x @ w).sum() t.backward() print(w.grad) # retur
Pytorch模型输出梯度为None|如何输出GRL模型的梯度
一听音频技术
10-26 2349
如何查看模型输出梯度
param.grad为 None或者TypeError: unsupported operand type(s) for *: ‘float‘ and ‘NoneType‘
weixin_52024290的博客
08-02 700
经过debug发现是param.grad（即W.grad)为None，即求梯度失败，反复看了代码，发现是在一开始W的定义中没有设置为求梯度，如下所示。最终问题得到解决，以后写代码一定认真点，因为这一个错误，debug了好久。
Pytorch的梯度为None！
村头
07-10 1万+
Pytorch 梯度为None   尽管设置了某个Tensor的属性 requires_grad = True，但是，用某个loss对该Tensor计算梯度时，作者也遇到了梯度为None的情况 ！！！ 实例 情况说明   作者在写ADP的网络时，定义了A_Net，Model_Net，V_Net，在更新A_Net时候，定义损失： lossA=self.criterion(predict,target)lossA = self.criterion(predict,target) lossA=self.crite
pytoch 设置了requires_grad=True，但是计算梯度(grad)为none
yinizhilianlove的博客
01-18 1万+
来源：AINLPer微信公众号（点击了解一下吧） 编辑: ShuYini 校稿: ShuYini 时间: 2019-8-16 代码示例 x_in=torch.tensor([[0, 1, 2], [3, 4, 5], [6, 7, 8]]).view((1,1,3,3)).type(torch.FloatTensor) y_out=torch.tensor([[19, 25],[37, 43]...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值