【TensorFlow】训练过程中获取某个Tensor值；只有conv1和bn1存在NAN

最新推荐文章于 2025-03-14 15:50:25 发布

原创最新推荐文章于 2025-03-14 15:50:25 发布 · 1.3k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#Tensorflow

本文介绍如何在TensorFlow训练过程中检查和解决参数出现NaN的问题。通过获取特定Tensor的值，发现仅conv1的filter、bias及bn1的gamma为NaN，原因在于训练数据存在NaN，导致后续参数不更新。

部署运行你感兴趣的模型镜像

1. 在训练过程中,获取某个参数Tensor的值:

获取所有Tensor的name: [tensor.name for tensor in tf.get_default_graph().as_graph_def().node]
根据name获得Tensor: bn_gamma = sess.graph.get_tensor_by_name('bn1_audio/batch_normalization/beta:0')
sess.run(), print

2. 只有conv1的filter, bias和bn1的gamma为nan:

由于训练数据中存在nan.
bn1后的max pooling层输出全为0 (∵bn1输出有0), 导致后续参数和输出看起来正常, 但是不会更新.

您可能感兴趣的与本文相关的镜像

TensorFlow-v2.15

TensorFlow

TensorFlow 是由Google Brain 团队开发的开源机器学习框架,广泛应用于深度学习研究和生产环境。它提供了一个灵活的平台,用于构建和训练各种机器学习模型

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

王屋山下的鸡腿菇

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

YOLOv11改进 | Conv改进篇 | 含2种改进，引入DynamicConv替换普通Conv卷积下采样和C3k2_DynamicConv替换C3k2(来自CVPR2024）

Ai缝合怪、助力小伙伴高效发论文

08-13

256

本文提出了一种基于DynamicConv动态卷积优化的YOLOv11轻量化模型改进方案。通过引入多专家机制的动态卷积模块，在增加模型参数量的同时保持较低的计算复杂度（FLOPs），有效解决了低FLOPs模型在大规模预训练中的性能瓶颈问题。文章详细介绍了动态卷积的工作原理、核心代码实现，并提供了在YOLOv11中集成DynamicConv和C3k2_GhostModule_DynamicConv模块的完整教程，包括模块添加、配置文件修改和模型训练验证过程。实验结果表明，该方案在保持高效推理速度的同时显著提升了

YOLOv11改进 | Conv改进篇 | YOLOv11引入DynamicConv替换普通Conv卷积下采样和C3k2_DynamicConv替换C3k2(来自CVPR2024）

Ai缝合怪、助力小伙伴高效发论文

11-18

841

论文地址点击此处即可跳转代码地址点击此处即可跳转摘要：大规模视觉预训练显著提高了大型视觉模型的性能。然而，我们观察到低 FLOPs 陷阱，即现有的低 FLOPs 模型无法从大规模预训练中受益。在本文中，我们介绍了一种称为 ParameterNet 的新设计原理，旨在增加大规模视觉预训练模型中的参数数量，同时最大限度地减少 FLOPs 的增加。我们利用DynamicConv动态卷积将其他参数合并到网络中，FLOP 仅略有增加。ParameterNet 方法允许低 FLOPs 网络利用大规模视觉预训练。

参与评论您还未登录，请先登录后发表或查看评论

TensorFlow-抽取模型某一层特征 keras输出中间层结果的2种方法

热门推荐

qq_37950540的博客

10-29

2万+

TensorFlow-抽取模型某一层特征原文链接深度学习具有强大的特征表达能力。有时候我们训练好分类模型，并不想用来进行分类，而是用来提取特征用于其他任务，比如相似图片计算。接下来讲下如何使用TensorFlow提取特征。 1.必须在模型中命名好要提取的那一层，如下 self.h_pool_flat = tf.reshape(self.h_pool, [-1, num_filter...

问题记录：Tensor had NaN values

weixin_39880579的博客

06-08

4311

点击打开链接点击打开链接

(Pytorch)判断一个tensor中是否存在nan

qq_43391414的博客

09-13

3537

有的时候写代码会遇到nan的情况，遇到这种情况你肯定要去解决的，说明你代码有问题。如果你不解决，大概率由于模型前向传播＋训练导致模型中所有tensor都是nan，甚至中途就报错了。我们首要是对一些你认为关键的tensor变量进行检测是否为nan，然后停下来，进一步分析nan的原因。nan的原因有非常之多，这里就不介绍了,大家可以看看。

记录一个Nan bug

zxs0222的博客

10-29

616

torch bug 实验记录

tensorflow中NaN的问题

Roc-Ng的博客

12-23

3649

今天帮妹子调试tensorflow的程序，遇到了nan的问题，找了好久终于解决，也没辜负妹子。最终找到了问题是tf.sqrt，引自stackoverflow， Why is my loss function returning nan? 解释为： It was coming from the fact that x was approaching a tensor with all zero...

python选取tensor某一维_Tensorflow--取tensorf指定列的操作方式

weixin_39551611的博客

12-11

1642

我就废话不多说了，大家还是直接看代码吧~In [1]: import osIn [2]: os.environ["CUDA_VISIBLE_DEVICES"] = "0"In [3]: import tensorflow as tfIn [4]:sess =tf.Session()In [5]: input = tf.constant([[[1,2,3],[4,5,6],[7,8,9]],[[10...

YOLOv10改进 | Conv改进篇 | YOLOv10引入DynamicConv替换普通Conv卷积下采样和C2f_GhostModule_DynamicConv替换C2f(来自CVPR2024）

Ai缝合怪、助力小伙伴高效发论文

09-06

4803

大规模视觉预训练显著提高了大型视觉模型的性能。然而，我们观察到低 FLOPs 陷阱，即现有的低 FLOPs 模型无法从大规模预训练中受益。在本文中，我们介绍了一种称为 ParameterNet 的新设计原理，旨在增加大规模视觉预训练模型中的参数数量，同时最大限度地减少 FLOPs 的增加。我们利用DynamicConv动态卷积将其他参数合并到网络中，FLOP 仅略有增加。ParameterNet 方法允许低 FLOPs 网络利用大规模视觉预训练。

深度学习-服务器训练SparseDrive过程记录

最新发布

weixin_40826634的博客

03-14

1565

用ssh远程的服务器终端只要关闭该终端，训练程序也会中断，是因为虽然ssh的终端是在本地电脑上显示的，但是其实是服务器端的终端，所以关掉ssh的终端，就是关掉了服务器的终端，在终端上运行的程序就会中断，通过使用screen就可以让程序在后台运行，即使关掉终端，程序仍然会在后台运行。：要将nuScenes-map-expansion-v1.3中的basemap、expansion、prediction拷贝到maps下。然后执行find / -name “

tensorflow 获取graph中的所有tensor

u010454261的博客

07-20

1万+

[n.name for n in tf.get_default_graph().as_graph_def().node] 摘自https://stackoverflow.com/questions/36883949/in-tensorflow-get-the-names-of-all-the-tensors-in-a-graph

卷积神经网络中loss值为nan的问题（已解决）

gaoyue5511的博客

09-04

1万+

卷积神经网络中loss值为nan的问题最近一直在学习AI方面的东西。想自己搞一个类似MINST的东东，用搞基神经网络，样本用自制的样本……然鹅理想是骨感的，现实是永远吃不上饭的。经过与各种错误轮战后，出现了更大的错误：loss为nan 先上代码吧，比较乱，建议摘了眼镜看：首先是整体代码： import os import glob from skimage import io,...

Tensorflow中训练得到Nan错误的分析

yinxingtianxia的博客

09-28

6633

之前在TensorFlow中实现不同的神经网络，作为新手，发现经常会出现计算的loss中，出现Nan值的情况，总的来说，TensorFlow中出现Nan值的情况有两种，一种是在loss中计算后得到了Nan值，另一种是在更新网络权重等等数据的时候出现了Nan值，本文接下来，首先解决计算loss中得到Nan值的问题，随后介绍更新网络时，出现Nan值的情况。 Loss计算中出现Nan值在搜

tensorflow打印一个tensor值

qq_41295976的博客

03-14

685

在tensorflow中，打印一个tensor值必须在在一个会话Session中进行，并且可以使用Session.run()或Tensor.eval()进行打印x的值： - 使用 print(sess.run(x)) - 使用print(x.eval()) Session.run和Tensor.eval的区别和联系 https://blog.youkuaiyun.com/promisejia/artic...

卷积神经网络训练时候出现nan错误

zehuawong的博客

02-28

8458

http://www.mamicode.com/info-detail-2167712.html 学习率设置为0.001时候出现了loss=nan错误将学习率设置为0.0001后 1.问题一;训练CNN的时候出现nan CNN是我最开始接触的网络，我的研究课题就是利用CNN，LSTM等网络对人体动作做识别。动作数据来源于手机的加速度计，做动作的人在固定位置携带手机并做特定动作，实验人员接收手机的...

pytorch训练出现nan是什么意思

夏目里奇的博客

01-05

1万+

1.背景训练时忽然发现某几项loss变成了nan。 2.nan的含义 nan值在python往往可以直接与无穷大，无穷小等价。常见根本来源： a/0 log(0) 空索引第一个常见例子: loss/posnumloss / posnumloss/posnum，希望根据正例个数平分loss，却忽视pos_num可能为0，也就是图片中没有正例，常见解决loss/(0.0001+num)loss/(0.0001 + num)loss/(0.0001+num)或者if判断；第二个常见例子：l

空tensor取mean产生NaN

iTom's blog

12-20

2044

numpy 和 pytorch 中，对空的 tensor 取 sum 是 0，取 mean 是 NaN！对此，numpy 会报 Runtime Warning，而 pytorch 却没有一丝提示… 对张量用 mask 之后可能会产生空的 tensor（即 mask 全是 False 没有 True），可能之前训练 loss 都正常，突然就 NaN 了。所以取 mean 前先判空。 Code pytorch 1.4 numpy 1.18.0 import numpy as np import torch

tensorflow tensor比小，数据单个处理提取

dpasdfjk66的博客

03-23

207

tensor操作tensor比大tensor数据提取 tensor比大比大的实现，当tensor中元素x大于等于5时，对应输出tensor中元素y=x * 2；否则 y= x * 3的计算点击同理可用 tf.less 替换 tf.greater tensor数据提取假设提取小于1 的损失值 loss为计算出来的损失 loss_one = tf.zeros_like( loss ) +1.0 rpn_select = tf.where ( tf.less( loss

tensorflow NAN常见原因和解决方法

苏冉旭的专栏

02-14

1万+

最近遇到NAN的问题，花了很久才真正解决。发现网上大部分解决方法都不对或者不彻底，因此单独总结一下。一、NAN原因所有NAN都是这个原因：正向计算时节点数值越界，或反向传播时gradient数值越界；无论正反向，数值越界基本只有两种操作会导致： a) 节点/W/gradient数值逐渐变大直至越界 b) 有除零操作，包括0/0。二、现象两者的现象可能一样，绝大多...

理解TensorFlow中的tf.SparseTensor

`tf.SparseTensor`是TensorFlow中处理稀疏数据的关键工具，它提供了高效的存储和运算方式，对于处理大规模数据集的机器学习任务至关重要。理解其工作原理和使用方法，能够帮助优化模型性能并降低资源消耗。