Nan in summary histogram

最新推荐文章于 2022-11-22 22:25:08 发布
原创 最新推荐文章于 2022-11-22 22:25:08 发布 · 1.6w 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#TensorFlow #神经网络 #优化

在tensorflow中训练神经网络时，训练到一半，出现Nan in summary histogram for:xxx

这种情况不一定每次都出现，有时候训练时会出现，有时候则不会。

出现这种情况，一般是由以下两种情况造成：


1.Loss的计算采用了

cross_entropy = -tf.reduce_sum(y_*tf.log(y))

如果y的值 = 0，则log(y)则会出错，解决方法是，将上式修改为： 


                

        

    


  


        

            

                      
                        最低0.47元/天 解锁文章
                          
                      
            

        


    



                



	

		

			

				
					
Tensorflow中训练得到Nan错误的分析

				
			

			

				

					一摩尔自由的博客
				

				

					01-30
					
					2753
					
				

			

		

		

			
				
Usually NaN is a sign of model instability, for example, exploding gradients. It may be unnoticed,
 loss would just stop shrinking. Trying to log weights summary makes the problem explicit. 






			
		

	



                

            
              



	

		

			

				
					
tensorflow.python.eager.core._FallbackException: This function does not handle the case of the path

				
			

			

				

					u014027421的博客
				

				

					07-07
					
					2678
					
				

			

		

		

			
				
大体报错：

错误一：

File "/home/ac/anaconda3/envs/tf-gpu/lib/python3.7/site-packages/tensorflow/python/ops/gen_summary_ops.py", line 464, in write_histogram_summary

tld.op_callbacks, writer, step, tag, values)

tensorflow.python.eager.core._FallbackException: Th

			
		

	



              


  
  
              

                


	

		

			

				
					
tensorflow.python.framework.errors_impl.InvalidArgumentError: Nan in summary histogram for: tcn/resi

				
			

			

				

					Alan的博客
				

				

					11-03
					
					833
					
				

			

		

		

			
				
tensorflow.python.framework.errors_impl.InvalidArgumentError: Nan in summary histogram for: tcn/residual_block_0/conv1D_0/kernel_0 [Op:WriteHistogramSummary]
调小学习率



			
		

	





	

		

			

				
					
执行train.py时，训练到一半出现错误：Nan in summary histogram for: ModelVars/FeatureExtractor/MobilenetV1/Conv

				
			

			

				

					qq_41046851的博客
				

				

					05-25
					
					4693
					
				

			

		

		

			
				
针对Tensroflow object detction API应用，执行train.py后训练到一半出现错误
错误信息如下：
INFO:tensorflow:global step 110: loss = 0.3455 (0.875 sec/step)
INFO:tensorflow:global step 110: loss = 0.3455 (0.875 sec/step)
INFO:ten...

			
		

	



		

			
		



	

		

			

				
					
网络训练时出现错误：Nan in summary histogram

				
			

			

				

					Be busy living or busy dying
				

				

					07-17
					
					1439
					
				

			

		

		

			
				
文章目录起因解决办法参考来源链接
起因
本来运行好好的程序，改了一点儿特征提取，就在网络开始训练的第一步遇到这个问题，我修改了特征提取中除法和log函数中可能有的0值，全都加上了一个小值，防止出现NAN，还是不行。之前特征提取没有加小值防止NAN也没有出现问题，训练一直很正常。
解决办法
删除checkpoint和save model、tensorboard的保存文件，虽然我修改后的特征shape与原来相同，也不知道怎么回事，反正删除后正常了。
网上看到还有各种可能，我只写我遇到的，以后遇到其他的情况再写吧

			
		

	





	

		

			

				
					
Histogram in Scala

				
			

			

				

					bzhangusc的专栏
				

				

					01-15
					
					624
					
				

			

		

		

			
				
```.scala
scala> val hist=Array("aa","bb","aa").foldLeft(Map[String,Int]()){
| (m,c) => m + (c -> (m.getOrElse(c,0)+1))
| }
```


or use the updated method of mutable Map


```.scala
scala>

			
		

	





	

		

			

				
					
【用于图像修复、数据增强等】结合官方代码教程，在Windows 10下运行pix2pix-tensorflow（tensorflow==1.4.0 python=3.6）

				
			

			

				

					孟孟单单的博客
				

				

					11-22
					
					1885
					
				

			

		

		

			
				
【用于图像修复、数据增强等】结合官方代码教程，在Windows 10下运行pix2pix-tensorflow（tensorflow==1.4.0 python=3.6）

			
		

	





	

		

			

				
					
InvalidArgumentError (see above for traceback): You must feed a value for placeholder tensor

				
			

			

				

					chiqijun0734的博客
				

				

					07-05
					
					5679
					
				

			

		

		

			
				
以下两种方式都不好使用：目前只是找到原因，等我找到方案再来完善。From your error message, it looks like you are using IPython. One pitfall when using IPython to build a TensorFlow model is that functions like tf.merge_all_summaries()...

			
		

	





	

		

			

				
					
TensorBoard可视化demo--summary/scalar/histogram/FileWriter

				
			

			

				

					忧郁一休
				

				

					05-09
					
					2971
					
				

			

		

		

			
				
本程序基于tensorflow下对MNIST数据集进行识别的程序代码 修改得到. 
主要就是为了实现TensorBoard的可视化,加入了summary data到event file中去,有summary.scalar和summary.histogram还有name_scope的应用,这些都是为了可视化程序运行完成后,在命令行执行tensorboard --logdir=/tmp/tensorfl

			
		

	





	

		

			

				
					
DeepLabv3+图像语义分割实战：训练自己的数据集

				
			

			

				

					07-10
				

			

		

		

			
				
DeepLabv3+是一种非常先进的基于深度学习的图像语义分割方法，可对物体进行像素级分割。  本课程将手把手地教大家使用labelme图像标注工具制作数据集，并使用DeepLabv3+训练自己的数据集，从而能开展自己的图像语义分割应用。  本课程有两个项目实践： (1) CamVid语义分割 ：对CamVid数据集进行语义分割 (2) RoadScene语义分割：对汽车行驶场景中的路坑、车、车道线进行物体标注和语义分割 本课程使用TensorFlow版本的DeepLabv3+，在Ubuntu系统上做项目演示。 包括：安装deeplab、数据集标注、数据集格式转换、修改程序文件、训练自己的数据集、测试训练出的网络模型以及性能评估。  本课程提供项目的数据集和Python程序文件。  下图是使用DeepLabv3+训练自己的数据集RoadScene进行图像语义分割的测试结果：

			
		

	





	

		

			

				
					
tensor小白记录一些解决掉的难以解决的错误（二）——tensorflow

				
			

			

				

					betsy_w的博客
				

				

					05-16
					
					636
					
				

			

		

		

			
				
1.    出现Nan in summary histogram for: conv1/W_conv1/histogram如图：当训练到2700的时候，loss的值出现了一个nan的表示。于是，从做毕业设计就“畅游”（畅游个毛线哦，都快逆死了...）在百度搜索中的我，开始上网查阅解决办法。查到是因为使用了:cross_entropy = -tf.reduce_mean(y_ * tf.log(y_...

			
		

	





	

		

			

				
					
【深度学习】记录跑深度学习中越到的坑与错误及其对应的解决方法

				
			

			

				

					小昊同学
				

				

					07-12
					
					739
					
				

			

		

		

			
				
一、配置环境时遇到的坑

安装anaconda时，无论有没有勾选使用python73，最后环境中的py版本都为37，需要降级。打开anaconda prompt，输入conda install python = 3.6 等待即可
	
	之前装过CUDA9.0和与其对应的cudnn，重新装了anaconda，python的版本也是对应的3.6，tensorflow-gpu也是对应的1.9.0，运...

			
		

	





	

		

			

				
					
TensorFlow学习－－tf.summary.histogram与直方图仪表板/tensorboard_histograms

					
热门推荐

				
			

			

				

					akadiao的博客
				

				

					03-14
					
					3万+
					
				

			

		

		

			
				
在训练神经网络时，当需要查看一个张量在训练过程中值的分布情况时，可通过tf.summary.histogram()将其分布情况以直方图的形式在TensorBoard直方图仪表板上显示．



tf.summary.histogram

tf.summary.histogram(): 
输出一个直方图的Summary protocol buffer .


name：生成的节点名称.作为Tensor...

			
		

	





	

		

			

				
					
深度学习训练时相关问题

				
			

			

				

					u011489887的专栏
				

				

					04-11
					
					1000
					
				

			

		

		

			
				
1.Nan错误InvalidArgumentError (see above for traceback): Nan in summary histogram for: fc6/weights_0
	 [[Node: fc6/weights_0 = HistogramSummary[T=DT_FLOAT, _device="/job:localhost/replica:0/task:0/devic...

			
		

	





	

		

			

				
					
如何解决
File "D:\GMS\3D-UIR\train.py", line 339, in training_report
tb_writer.add_histogram("scene/opacity_histogram"，scene .gaussians.get_opacity,iteration)
File "D:\software\anaconda\envs\torch1.13.1\lib\site-packages\torch\utils\tensorboard\writer.py", line 485, in add_histogram histogram(tag,values, bins, max_bins=max_bins)，global_step, walltime
File "D:\software\anaconda\envs\torch1.13.1\lib\site-packages\torch\utils\tensorboard\summary.py", line 358, in histogram hist = make_histogram(valves.astype(float)，bins, max_bins)
File "D:\software\anaconda\envs\torch1.13.1\lib\site-packages\torch\utils\tensorboard\summary.py", line 386, in make_histogram cum_counts = np.cumsum(np.greater(counts,0，dtype=np.int32))
TypeError: No loop matching the specified signature and casting was found for ufunc greater

					
最新发布

				
			

			

				

					07-21
				

			

		

		

			
				
<think>我们正在解决一个在训练深度学习模型时使用TensorBoard的`add_histogram`函数出现的错误：
TypeError: No loop matching the specified signature and casting was found for ufunc greater

根据引用[2]，这个错误发生在调用`np.greater`时，具体是在`torch.utils.tensorboard.summary.py`的`make_histogram`函数中。错误信息表明`np.greater`没有找到匹配的循环来处理给定的输入类型和转换规则。

引用[2]和引用[3]提供了关于`np.greater`的一些信息。`np.greater`用于逐元素比较两个数组，并返回布尔值数组。错误通常发生在输入数组的数据类型不兼容或者无法安全转换时。

在引用[2]中，报错发生在：
```python
cum_counts = np.cumsum(np.greater(counts, 0, dtype=np.int32))
```

这里，`np.greater(counts, 0, dtype=np.int32)`试图将比较结果转换为`np.int32`类型，但可能由于`counts`数组的数据类型与0（整数）不匹配，或者`dtype`参数的使用方式不正确（因为`np.greater`的`dtype`参数实际上不是标准参数）而导致错误。

实际上，根据引用[3]的示例，`np.greater`通常只接受两个数组（或标量）作为参数，而不指定`dtype`。因此，问题可能在于`dtype`参数的使用。

在标准NumPy中，`np.greater`函数的签名是：
```python
numpy.greater(x1, x2, /, out=None, *, where=True, casting='same_kind', order='K', dtype=None, subok=True[, signature, extobj])
```
但是，注意这里的`dtype`参数是用于指定输出数组的数据类型，而不是改变比较操作本身的数据类型。然而，在错误信息中，我们看到的调用方式为`np.greater(counts, 0, dtype=np.int32)`，这可能是问题的根源，因为`dtype`参数可能不被这样使用或者与输入类型冲突。

根据引用[2]提供的解决办法（虽然未在引用中明确写出，但我们可以推断），解决方法是避免使用`dtype`参数，或者确保输入的数据类型是兼容的。

在引用[2]的上下文中，错误发生在TensorBoard的summary.py文件中，这意味着我们可能需要修改TensorBoard的代码或者调整传入的数据类型。但是，修改库的代码并不是一个好的做法，因此我们应该首先尝试其他方法。

可能的解决方案：

1. **升级或降级NumPy版本**：由于错误可能是由于NumPy版本升级导致的，可以尝试降级NumPy到之前可用的版本，或者升级到最新版本（如果问题已被修复）。

2. **检查传入`add_histogram`的数据类型**：确保传入`add_histogram`的`values`参数是浮点类型（float）。因为错误发生在将直方图计数值（counts）与0比较时，而counts是从传入的values计算得到的。如果values不是浮点类型，可能会导致问题。

3. **修改TensorBoard的summary.py文件**（临时解决方法）：如果问题确实出在`np.greater(counts, 0, dtype=np.int32)`这一行，我们可以尝试修改这一行，去掉`dtype`参数，因为`np.greater`返回的是布尔数组，然后我们将其转换为整数类型（如果需要）再进行累加。例如，改为：
   ```python
   cum_counts = np.cumsum(np.greater(counts, 0).astype(np.int32))
   ```

但是，由于修改库文件不是长久之计，我们应优先考虑前两种方法。

根据引用[2]的报错信息，错误发生在：
```python
cum_counts = np.cumsum(np.greater(counts, 0, dtype=np.int32))
```
这里，`np.greater`的调用使用了`dtype=np.int32`，这可能是问题的原因。在较新的NumPy版本中，可能不再支持这样使用。我们可以尝试去掉`dtype`参数，因为比较操作默认返回布尔值，然后我们再转换为整数。

因此，我们可以尝试在summary.py文件中修改这一行（注意文件路径在报错信息中给出）：
```python
# 原始行
cum_counts = np.cumsum(np.greater(counts, 0, dtype=np.int32))

# 修改为
cum_counts = np.cumsum(np.greater(counts, 0).astype(np.int32))
```

但是，请注意，这只是一个临时解决方案，因为下次更新TensorBoard或PyTorch时可能会被覆盖。

另一种可能是，`counts`数组的数据类型不是数值类型，或者与整数0比较时存在类型不匹配。我们可以尝试在比较前将counts转换为整数或浮点数。

然而，考虑到用户是在训练深度学习模型时出现的问题，更推荐的做法是：

- 确保传入`writer.add_histogram`的`param`（即权重等）是浮点类型（如float32）。在PyTorch中，模型参数默认是float32，但如果在训练过程中有改变，需要检查。

- 升级PyTorch和TensorBoard的版本，因为这个问题可能是由于版本不兼容引起的。

如果以上方法都不能解决，可以尝试在代码中添加对参数数据类型的检查，并确保其为浮点类型。

总结步骤：

1. 检查传入`add_histogram`的`values`（即代码中的`param`）的数据类型，确保是浮点类型（如`torch.float32`）。如果不是，在传入前进行转换：`param.float()`。

2. 尝试升级或降级NumPy版本。例如，降级到之前可用的版本（如1.19.5）：
   ```bash
   pip install numpy==1.19.5
   ```

3. 如果问题仍然存在，尝试修改TensorBoard的summary.py文件（如上述修改）。

4. 升级PyTorch和TensorBoard：
   ```bash
   pip install --upgrade torch torchvision tensorboard
   ```

5. 如果降级NumPy后其他项目需要新版本，建议使用虚拟环境为不同项目创建隔离的环境。

根据引用[2]的报错，错误发生在`np.greater(counts, 0, dtype=np.int32)`，而`counts`是`make_histogram`函数中由传入的`values`计算得到的直方图计数。因此，确保传入`add_histogram`的数据是浮点类型可能从根本上避免问题。

**示例代码修改：**

在调用`add_histogram`之前，将参数转换为浮点类型：
```python
# 原始代码
writer.add_histogram("{}/{}".format(layer, attr), param, epoch)

# 修改为
writer.add_histogram("{}/{}".format(layer, attr), param.float(), epoch)  # 确保为float
```

如果参数已经是浮点类型，这一步不会改变什么，但如果不是，则能解决问题。

希望这些方法能帮助解决问题。</think>针对 TensorBoard `add_histogram` 函数报错 `TypeError: No loop matching the specified signature and casting was found for ufunc greater` 的问题，以下是系统分析和解决方案：

### 问题原因分析
该错误通常由以下原因引起：
1. **数据类型不兼容**：`np.greater` 函数要求两个输入数组具有兼容的数据类型（如 `float32` 和 `int` 不兼容）[^3]
2. **NumPy 版本冲突**：环境中的 NumPy 版本升级导致与 TensorBoard/PyTorch 的兼容性问题（常见于从 NumPy<1.20 升级到 1.20+）[^1]
3. **输入数据异常**：传递给 `add_histogram` 的参数包含非数值类型（如 `NaN` 或 `inf`）或维度不匹配[^2]

### 解决方案
#### 方法一：显式转换数据类型（推荐）
在调用 `add_histogram` 前强制转换数据类型：
```python
# 修改前
writer.add_histogram("layer/weight", model.weight, epoch)

# 修改后 → 添加 .float() 转换
writer.add_histogram("layer/weight", model.weight.float(), epoch)
```

#### 方法二：降级 NumPy 版本
```bash
# 降级到兼容版本（PyTorch 1.8+ 推荐）
pip install numpy==1.19.5

# 验证版本
python -c "import numpy; print(numpy.__version__)"
```

#### 方法三：检查数据有效性
```python
# 添加数据检查
if torch.isnan(param).any() or torch.isinf(param).any():
    param = torch.nan_to_num(param)  # 替换异常值

writer.add_histogram(tag, param.float(), epoch)  # 确保float类型
```

### 根本原因说明
错误发生在 TensorBoard 的底层计算中：
```python
# torch/utils/tensorboard/summary.py
def make_histogram(values, bins, max_bins):
    ...
    cum_counts = np.cumsum(np.greater(counts, 0, dtype=np.int32))  # 报错位置[^2]
```
当 `counts`（直方图计数数组）与整数 `0` 比较时，因数据类型不匹配导致 `np.greater` 无法执行操作[^3]。

### 预防措施
1. 使用虚拟环境隔离项目：
   ```bash
   python -m venv myenv
   source myenv/bin/activate
   pip install -r requirements.txt
   ```
2. 固定关键库版本：
   ```text
   # requirements.txt
   numpy==1.19.5
   torch==1.12.1+cu113
   tensorboard==2.10.0
   ```

### 验证方案
```python
# 测试脚本 test_dtype.py
import torch
import numpy as np
from torch.utils.tensorboard import SummaryWriter

writer = SummaryWriter()
data = torch.randn(1000).float()  # 明确使用float类型
writer.add_histogram("test_hist", data, 0)
writer.close()
print("✅ 直方图写入成功")
```

> **注意**：若使用 PyTorch 1.13+ 和 TensorBoard 2.11+，建议升级所有依赖至最新版，此问题已在较新版本中修复[^2]。



			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 9

	

  

	
    

      

      

      

        
        

          
          

            

              成就一亿技术人!
            

            

              拼手气红包6.0元
            

          

        

        

          

            还能输入1000个字符
          

          

             
          

          

            

              红包
              添加红包
            

            

              表情包
              插入表情
              

                

              

            

            

              表情包
              代码片
              

                
              

            

            

              
              
              
              
              
              
              
            

          

        

      

    

		

			

			

			
			

					 条评论被折叠 查看
			

			

				
			

		

	

	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值