Tensorflow解决reduce_mean出现"nan"提示

最新推荐文章于 2025-10-26 13:38:45 发布
原创 最新推荐文章于 2025-10-26 13:38:45 发布 · 2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#神经网络 #机器学习 #tensorflow #深度学习

本文深入探讨了TensorFlow中的reduce_sum()函数，解析了reduction_indices参数的作用，分享了一个因该参数设置不当而导致计算结果错误的实际案例。博主在代码中未正确设置reduction_indices=0，导致reduce_mean计算的结果仅为reduce_sum的值，而非预期的平均值。
部署运行你感兴趣的模型镜像

在上一篇博客中，我们简单分析了tensorflow参数传递的问题。接下来我们来看reduce_sum()

tf.reduce_sum(
    input_tensor, 
    axis=None, 
    keepdims=None,
    name=None,
    reduction_indices=None, 
    keep_dims=None)

reduce_sum中的reduction_indices都是针对某个轴算总和的意思，如果不设值，则是计算的全体元素之和。

这里就是我曾经犯下的问题所在，在之前的代码中，我没有设置reduction_indices=0，因此在计算reduce_mean的时候，算得值只是reduce_sum的值。

        self.loss = reduce_mean(-reduce_sum(mul(self.ys,log(self.prediction)),reduction_indices=[0]))

至于为什么是"nan"，博主也不知。欢迎懂的朋友可以在评论区留言

您可能感兴趣的与本文相关的镜像

TensorFlow-v2.15

TensorFlow-v2.15

TensorFlow

TensorFlow 是由Google Brain 团队开发的开源机器学习框架,广泛应用于深度学习研究和生产环境。 它提供了一个灵活的平台,用于构建和训练各种机器学习模型

tensorflow 里metrics_TensorFlow estimator tf.metrics 返回值（update_op含义）
weixin_39915505的博客
01-13 680
1、基本概念在我们实用TensorFlow高阶API estimator时我们需要对模型当前训练或者预测的效果进行评估，这个时候TensorFlow就给我们了一些常用的计算指标，放在metrics当中，包括accuracy、auc等等，tf.metrics.accuracy(labels,predictions,weights=None,metrics_collections=None,updat...
tensorflow标准差方差_TensorFlow2.0（8）：误差计算——损失函数总结
weixin_39760650的博客
12-19 736
注：本系列所有博客将持续更新并发布在github上，您可以通过github下载本系列所有文章笔记文件。1 均方差损失函数：MSE¶均方误差(Mean Square Error)，应该是最常用的误差计算方法了，数学公式为： $$loss = \frac{1}{N}\sum {{{(y - pred)}^2}} $$其中，$y$是真实值，$pred$是预测值，$N$通常指的是batch_size，也有...
【AI画画教程】无整合包使用LoRA和Dreambooth训练全流程详解（Linux）
xwmisc的博客
05-19 5094
目前很多AI画画训练整合包臃肿复杂，教程也是名词乱炖，容易对初学者造成理解误差和使用困难。因为许多整合包都依赖于sd-scripts库，它自身就能支持绝大多数的训练场景，学会这个后，自己也可以根据自己的工作流搭整合包了。此外，Dreambooth和LoRA并不是指代某一类独立的训练方法，而是多种训练方法的组合，也需要清楚它们的作用和原理。本教程介绍了如何使用LoRA和Dreambooth两种微调技巧，从一个基础模型出发，训练出一个能够生成电子龙风格图像的AI画画模型。
问题解决：python图片读取错误
a997897336的博客
03-04 2932
在火力教育群里问了大佬一手，虽然不懂为啥但是还是把问题解决了，贴上更改前后的代码对比以及大佬提供的代码，以供大家参考，希望可以带来帮助。 更改前 import time import torch import torch.nn as nn import torch.nn.functional as F import torchvision from torchvision import datasets, transforms, models import numpy as np import matp.
TensorFlow的reduce_mean()函数
最新发布
limenga102的专栏
10-26 295
操作描述例子（对计算所有元素的全局平均值2.5计算每一列的平均值[2., 3.]计算每一行的平均值[1.5, 3.5]计算平均值但保持维度[[2.5]]简单来说，就是你告诉TensorFlow沿着哪个方向“压扁”数据，并把压扁的部分用它们的平均值来代替。它是数据降维和汇总的核心操作之一。
“两步走方法“解析损失函数：mean square error，cross entropy，softmax，SVM
月下花弄影
10-13 4363
本文试图将四类最基础也最常用的损失函数进行统一归纳，以明白各自的区别，加深对他们的记忆和理解。 本文会从两个步骤分析损失函数，第一个是从输入到模型的输出，第二个是从模型的输出到损失函数的计算。 第一个步奏，从输入到模型的输出。我先解释一下什么是模型的输出。比如当我们训练好了一个回归模型，用来判断房子的大小和价格的关系。那么，当我们输入一个房子的大小时，模型就会输出一个房子的价格，而这房子的价格...
tensorflow配置Mask-RCNN报错：tf.reduce_mean got an unexpected keyword argument 'keep_dims
sunflower_sara的机器学习园地
01-23 3568
TypeError: reduce_mean() got an unexpected keyword argument 'keepdims' 根据错误提示，找到maskRCNN文件夹里面的model.py文件，打开定位到keepdims处, 发现这里有一个tf.reduce_mean函数 发现这里的keepdims应该是keep_dims，少了一个下划线。 把所有的改正为keep_di...
tensorflow中 tf.reduce_mean函数
u013049912的博客
06-21 205
https://blog.youkuaiyun.com/dcrmg/article/details/79797826
tensorflow 协同过滤_基于用户的协同过滤的电影推荐算法(tensorflow)
weixin_42415491的博客
01-14 591
数据集：ml-latest-small协同过滤算法理论基础相似度计算主要有三个经典算法：余弦定理相似性度量、欧氏距离相似度度量和杰卡德相似性度量。下面分别进行说明：余弦定理相似性度量三角形余弦定理公式：，由该公式可知角A越小，bc两边越近。当A为0度时，bc两边完全重合。当bc两边为向量时，两个向量的余弦为：；当存在多个向量时，多个向量的余弦为：由上求余弦的向量公式，可得知当两个向量的夹角越小，两...
Tensorflow - Cross Entropy Loss
长风破浪会有时，直挂云帆济沧海
05-03 4136
Tensorflow - Cross Entropy Loss Tensorflow 提供的用于分类的 ops 有: tf.nn.sigmoid_cross_entropy_with_logits tf.nn.softmax tf.nn.log_softmax tf.nn.softmax_cross_entropy_with_logits tf.nn.softmax...
tensorflow训练出现nan的讨论
ljhandlwt
08-17 6783
本文讲述tensorflow训练时出现nan的原因,及其解决办法
tensorflow函数之tf.reduce_mean
公众号/知乎: AI算法札记，欢迎关注交流
05-10 1711
tf.reduce_mean() tf.reduce_mean( input_tensor, axis=None, keepdims=None, name=None, reduction_indices=None, keep_dims=None ) tf.reduce_mean函数的作用是求平均值。第一个参数是一个集合，可以是列表、二维数组和...
tf.reduce_mean
brooknew的专栏
10-29 485
https://blog.youkuaiyun.com/he_min/article/details/78694383
空tensor取mean产生NaN
iTom's blog
12-20 2032
numpy 和 pytorch 中，对空的 tensor 取 sum 是 0，取 mean 是 NaN！对此，numpy 会报 Runtime Warning，而 pytorch 却没有一丝提示… 对张量用 mask 之后可能会产生空的 tensor（即 mask 全是 False 没有 True），可能之前训练 loss 都正常，突然就 NaN 了。所以取 mean 前先判空。 Code pytorch 1.4 numpy 1.18.0 import numpy as np import torch
matlab损失函数出现nan,我的简单损失函数导致了NAN
weixin_36198673的博客
03-18 636
我为自己写了一个客户损失,但是经过几步之后,损失变成了nan,我的代码是def my_loss(label_batch, logits_batch, alpha=1.3, beta=0.5):softmax_logits_batch = tf.nn.softmax(logits_batch, axis=-1)indices_not_0 = tf.where(tf.not_equal(label_b...
终于弄懂tf.reduce_sum()函数和tf.reduce_mean()函数
热门推荐
分享技术笔记，记录学习研发历程
08-07 1万+
参考博客： 1.https://www.zhihu.com/question/51325408/answer/125426642 2.https://www.w3cschool.cn/tensorflow_python/tensorflow_python-5y4d2i2n.html 3.https://blog.youkuaiyun.com/dcrmg/article/details/79797826 在学习...
focal loss训练时出现nan的原因，以及解决办法
weixin_42445581的博客
05-03 5765
Focal loss的数学表达式如上所示。这是二分类的写法。当使用在多分类的时候，只取上半部分，计算该分类的得分。使用tensorflow编程，focal loss的函数如下： focal loss函数 def focal_loss(config, pred, label): ''' :param pred: B,N,num_class :param label:...
tensorflow reduce系列函数(tf.reduce_mean, tf.reduce_sum, tf.reduce_prod, tf.reduce_max, tf.reduce_min)
jshmjs45的专栏
10-04 7601
简而言之，reduce系列的函数都可在张量指定的维度上操作 目录 输入参数 tf.reduce_all   在boolean张量的维度上计算元素的 "逻辑和" tf.reduce_any 在boolean张量的维度上计算元素的 "逻辑或" tf.reduce_max 计算张量的各个维度上元素的最大值 tf.reduce_min  计算张量的各个维度上元素的最小值 tf.reduce_...
def full_similarity_loss(y_true, y_pred): # 增强数值稳定性 EPSILON = 1e-5 # 改进哈希码生成 relaxed_hash = tf.tanh(TEMPERATURE * y_pred) normalized_hash = tf.math.l2_normalize(relaxed_hash, axis=1) # 安全相似度计算 sim_matrix = tf.matmul(normalized_hash, normalized_hash, transpose_b=True) sim_matrix = tf.clip_by_value(sim_matrix, -0.999, 0.999) # 严格限制范围 # 构建真实相似矩阵（添加调试断言） S = tf.cast(tf.equal(y_true[:, None], y_true[None, :]), tf.float32) tf.debugging.assert_non_negative(S) # 验证标签矩阵 # 改进损失计算 safe_pos = (1 - sim_matrix) / ALPHA pos_term = tf.math.log(1 + tf.nn.relu(safe_pos) + EPSILON) # 防止负数 safe_neg = sim_matrix / ALPHA neg_term = tf.math.log(1 + tf.nn.relu(safe_neg) + EPSILON) # 添加正则化项 hash_std = tf.math.reduce_std(y_pred) regularization = 0.1 * tf.square(hash_std - 0.5) return (tf.reduce_mean(pos_term) + tf.reduce_mean(neg_term)) * 0.5 + regularization
03-18
<think>嗯，用户问的是如何改进或调试TensorFlow自定义损失函数full_similarity_loss。首先，我需要回忆一下自定义损失函数在TensorFlow中的实现方式。通常，用户需要定义一个函数，接受y_true和y_pred，然后返回损失值。而调试和优化的话，可能涉及到数值稳定性、计算效率、梯度是否正确等问题。 用户提到想优化或改进实现细节，可能需要检查损失函数的数学公式是否正确转换为代码。比如，是否有运算顺序错误，或者使用了不合适的TensorFlow操作。例如，如果用户使用了平方差或其他需要聚合的操作，是否在正确的轴上进行了求和或平均？ 接下来，调试方面，可能需要逐步打印中间张量的值，但在TensorFlow中，由于是静态计算图，直接打印可能不行。这时候应该想到使用tf.print来输出中间值，或者使用tf.debugging工具检查数值问题，比如NaN或Inf的出现。 另外，梯度问题也很重要。如果损失函数不可导，或者某些操作导致梯度消失或爆炸，模型训练就会出问题。这时候可能需要使用tf.GradientTape来手动检查梯度，或者在计算时使用安全的运算，比如加上小的epsilon避免除以零的情况。 性能优化方面，用户可能希望损失函数运行得更快。这时候需要考虑使用向量化操作，避免循环，利用TensorFlow的GPU加速。同时，检查是否有不必要的计算重复，比如重复计算相同的张量，可以将其缓存起来。 还有，用户提供的引用里提到了SSIM损失函数的实现，其中需要注意常数项和动态范围的处理。如果full_similarity_loss是基于相似性的损失，可能涉及类似的结构相似性指标，这时候可能需要参考已有的实现，比如检查是否正确地应用了高斯滤波，或者是否正确处理了对比度和结构分量。 此外，单元测试也是重要的一环。用户可能需要为损失函数编写测试用例，比如验证当输入相同或完全不同时，损失值是否符合预期。例如，当y_true和y_pred完全相同时，损失是否为0，或者当完全不同时，损失是否达到最大值。 还有，数值稳定性方面，比如在分母可能为零的情况下，是否添加了epsilon，或者对输入进行了归一化处理。例如，在计算SSIM时，分母可能会有均值平方加上常数，这时候需要确保常数设置合理，避免出现除零错误。 最后，用户可能希望利用TensorFlow的内置函数，比如结合已有的损失函数，或者利用Keras的层来简化计算流程。例如，使用现有的MSE或MAE作为基准，再结合自定义的部分，提高效率和可靠性。</think>### 改进和调试TensorFlow自定义损失函数`full_similarity_loss`的步骤 #### 1. **验证数学公式的正确性** - **检查公式实现**：确保代码与理论公式一致。例如，若涉及相似性度量（如SSIM），需确认对比度、结构分量等计算的正确性[^2][^3]。 - **归一化处理**：若涉及动态范围（如$L=255$），需将输入归一化到$[0,1]$或$[-1,1]$，避免数值溢出[^3]。 ```python def full_similarity_loss(y_true, y_pred): y_true = y_true / 255.0 # 归一化示例 y_pred = y_pred / 255.0 # 后续计算... ``` #### 2. **调试中间结果** - **使用`tf.print`输出中间值**：跟踪关键变量（如均值、方差）的值，验证是否在合理范围内。 ```python def full_similarity_loss(y_true, y_pred): mean_true = tf.reduce_mean(y_true) mean_pred = tf.reduce_mean(y_pred) tf.print("均值差异:", tf.abs(mean_true - mean_pred)) # 后续计算... ``` - **检查数值稳定性**：避免分母为零，可在分母中添加极小值$\epsilon$（如$1e-6$）。 ```python covariance = tf.reduce_sum((y_true - mean_true) * (y_pred - mean_pred)) variance_true = tf.reduce_sum((y_true - mean_true)**2) + 1e-6 variance_pred = tf.reduce_sum((y_pred - mean_pred)**2) + 1e-6 ``` #### 3. **梯度验证** - **使用`tf.GradientTape`检查梯度**：确保损失函数对输入的梯度可计算且合理。 ```python with tf.GradientTape() as tape: loss = full_similarity_loss(y_true, y_pred) gradients = tape.gradient(loss, model.trainable_variables) tf.print("梯度是否存在None:", [g is None for g in gradients]) ``` - **梯度裁剪**：若梯度爆炸，可通过`tf.clip_by_value`限制梯度范围。 #### 4. **性能优化** - **向量化操作**：避免循环，使用TensorFlow内置函数（如`tf.square`, `tf.reduce_sum`）。 - **启用XLA加速**：通过`@tf.function(jit_compile=True)`加速计算。 ```python @tf.function(jit_compile=True) def full_similarity_loss(y_true, y_pred): # 计算过程... ``` #### 5. **单元测试** - **边界条件测试**：验证输入相同时损失是否为0，输入差异大时损失是否增大。 ```python # 测试相同输入 dummy_input = tf.ones((32, 256, 256, 3)) loss = full_similarity_loss(dummy_input, dummy_input) assert loss == 0.0 # 需根据具体公式调整 ``` - **与已知损失对比**：例如，与MSE或SSIM损失对比结果趋势是否一致。 #### 6. **结合TensorFlow调试工具** - **使用`tf.debugging`检查数值异常**： ```python tf.debugging.check_numerics(loss, "损失值包含NaN/Inf") ``` #### 示例代码框架 ```python import tensorflow as tf def full_similarity_loss(y_true, y_pred): # 归一化输入 y_true = y_true / 255.0 y_pred = y_pred / 255.0 # 计算均值、方差等 mean_true = tf.reduce_mean(y_true) mean_pred = tf.reduce_mean(y_pred) covariance = tf.reduce_sum((y_true - mean_true) * (y_pred - mean_pred)) var_true = tf.reduce_sum(tf.square(y_true - mean_true)) + 1e-6 var_pred = tf.reduce_sum(tf.square(y_pred - mean_pred)) + 1e-6 # 结构相似性分量（示例） c1 = (0.01 * 255)**2 # 参考SSIM公式中的常数项[^3] c2 = (0.03 * 255)**2 similarity = (2 * mean_true * mean_pred + c1) * (2 * covariance + c2) denominator = (mean_true**2 + mean_pred**2 + c1) * (var_true + var_pred + c2) loss = 1 - similarity / denominator return loss ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值