Tensorflow 负loss，解决

最新推荐文章于 2024-01-24 21:49:46 发布
原创 最新推荐文章于 2024-01-24 21:49:46 发布 · 1.3k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#tensorflow #深度学习 #机器学习

网上很多帖子都说是ground truth 的label有问题，然而再三检查都没问题。
还有很多帖子说是learning rate有问题，降到了0.0000000001还是不行。
其实，是小错误了，产生了意想不到的问题。

下面算loss的是对的

loss = tf.nn.softmax_cross_entropy_with_logits_v2(logits = self.outputs,labels = self.placeholders['labels'])

这个是错的，loss = tf.nn.softmax_cross_entropy_with_logits_v2(self.outputs, self.placeholders['labels'])
这是因为疏忽，把gth-label和预测的结果搞反了。

只要调过来，就没问题。

TensorFlow KLDivergence loss为负
Love-Coding
02-17 1554
把 kl_compute = tf.keras.losses.KLDivergence(reduction=losses_utils.ReductionV2.NONE, name='kullback_leibler_divergence') loss = tf.reduce_mean(kl_compute(labels, tf.nn.softmax(logits))) 改为 kl
Tensorflow版本的Focal loss
JMU-HSF
07-14 2348
Tensorflow版本的Focal loss 文章目录Tensorflow版本的Focal loss1、区分logits，prob，prediction2、focal loss 损失函数 1、区分logits，prob，prediction ​ logits： 是网络的原始输出，从代码中可以简单的理解为 logits = f (x, w) + bais。通常来说，输出的logits的维度是（batch_size, class_num）。 ​ prob： 代表的是在分类输出时，每一个类别的概率。概率的总和为
使用tensorflow进行FCN网络训练时出现loss值是负值情况1
banxia1995的博客
06-12 5559
简单的FCN网络出现结果如下： epoch=0,i=54747 of 78989, loss=-624.140625 epoch=0,i=54748 of 78989, loss=-739.443359 epoch=0,i=54749 of 78989, loss=-603.046875 epoch=0,i=54750 of 78989, loss=-594.843750 epoch=0,i=5...
使用tensorflow进行FCN网络训练时出现loss值是负值情况2
banxia1995的博客
06-12 3561
继续上一篇的问题，上一篇的训练结果都建立在数据先进行了normalized之后的结果，这一次尝试一下先不进行归一化数据，查看一下训练结果，结果显示如下： epoch=0,i=14006 of 78989, loss=798.504578 epoch=0,i=14007 of 78989, loss=798.504578 epoch=0,i=14008 of 78989, loss=798.504...
Tensorflow学习笔记-softmax、cross_entroy
TiRan_Yang
11-23 3706
Tensorflow学习笔记-softmax_cross_entropy_with_logits　　神经网络模型的效果和优化的目标都是通过损失函数(loss function)来定义的。但是在分类问题中，如果评价输出结果的准确性呢？常用的方法是使用交差熵(cross entropy)，它刻画了两个概率分布之间的距离，它是分类问题中使用比较广的损失函数。 　　 H(y,y′)=−∑xy(x)∗lo
tf.nn.sigmoid_cross_entropy_with_logits出现负数
confuciust的专栏
12-25 2550
tf.nn.sigmoid_cross_entropy_with_logits 使用这个loss函数，出现loss出现负数的情况，在理论情况下，这个函数应该是不会存在负数的情况，查看这个函数的具体表达为： 该函数定义为： tf.nn.sigmoid_cross_entropy_with_logits(_sentinel=None, labels=None, logits=None, name=...
tensorflow分类的loss函数_Tensorflow 损失函数（loss function）及自定义损失函数（三）...
weixin_39682697的博客
12-21 521
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.youkuaiyun.com/limiyudianzi/article/details/80697711我主要分三篇文章给大家介绍tensorflow的损失函数，本篇为tensorflow自定义损失函数。(一)tensorflow内置的四个损失函数(二)其他损失函数(三)...
Tensorflow的负采样函数Sampled softmax loss踩坑之旅
chutongz的博客
04-04 8678
谷歌16年出的论文《Deep Neural Networks for Youtube Recommendation》中提到文章采用了负采样的思想来进行extreme multiclass分类任务 Tensorflow提供了两种负采样，分别是NCE loss 和Sampled softmax loss，两者最大的区别就是针对的任务不同，代码实现上两者也只有最后的loss函数不同，两者用的采样函数及算...
tensorflow笔记（三）——损失函数
蚂蚁搬家
07-23 1599
一、概述 机器学习主要面对两类问题：回归和分类。不过一个问题属于分类还是回归的界定却并不清晰。比如点击率预估输入样本的Label是0-曝光和1-点击，输出的是用户点击的概率，是一个连续值，你说点击率是回归问题还是分类问题？从目标来看输出一个率值而非类别应该算回归，但从输入来看是标签离散的，应该算是分类。 本质上这两类问题是一体两面的，分类模型可将回归模型的输出离散化，回归模型也可将分类模型的输出连续化，主要看任务目标是什么。分类和回归最大的不同可能在于对于损失函数的选择上。主要区别在于： 损失函数的一般表示
Tensorflow 中的损失函数 —— loss 专题汇总
WitsMakeMen的专栏
01-24 3915
标准的损失函数并不合适所有场景，有些实际的背景需要采用自己构造的损失函数，Tensorflow 也提供了丰富的基础函数供自行构建。例如下面的例子：当预测值（y_pred）比真实值（y_true）大时，使用 (y_pred-y_true)*loss_more 作为 loss，反之，使用 (y_true-y_pred)*loss_lesstf.greater(x, y)：判断 x 是否大于 y，当维度不一致时广播后比较。
对于训练时loss出现负值的情况
qq_43733107的博客
02-07 1万+
dice loss
Tensorflow中的损失函数loss汇总
qionggaobi9328的博客
08-11 6702
回归和分类是监督学习中的两个大类。自学过程中，阅读别人代码时经常看到不同种类的损失函数，到底 Tensorflow 中有多少自带的损失函数呢，什么情况下使用什么样的损失函数？这次就来汇总介绍一下。 一、处理回归问题 1.tf.losses.mean_squared_error：均方根误差（MSE） —— 回归问题中最常用的损失函数 优点是便于梯度下降，误差大时下降快，误差小时下降慢，有利于函数收敛...
Adam优化算法介绍
every place is the center of the universe
05-07 1万+
Adam是一种优化算法，全称时adaptive moment estimation（适应性矩估计） SGD 和Adam SGD( stochastic gradient descent随机梯度下降）与Adam(adaptive 随机梯度下降方法在权重更新时一直学习率是相同的，对于每个网络权重（参数），学习率不变。Adam 通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率。 Adam原理 Adam结合了Adaptive Gradient Algorithm (AdaGrad,适应性梯
Tensorflow 损失函数（loss function）及自定义损失函数（二）
Learning-Deep
06-14 2万+
我主要分三篇文章给大家介绍tensorflow的损失函数，本篇为tensorflow其他的损失函数，主要参照了tensorlayer 中的实现 （一）tensorflow内置的四个损失函数 （二）其他损失函数 （三）自定义损失函数 Tensorlayer封装了很多的已经写好的代码，同时作为一个开源项目，也公布了很多的代码片段，我们这就来看看，除了tensorflow内置的四个损失函数以...
TensorFlow损失函数（loss function）
hongxue8888的博客
08-14 3万+
神经网络模型的效果及优化的目标是通过损失函数来定义的。1、经典损失函数分类问题和回归问题是监督学习的两大种类。分类问题常用方法：交叉熵（cross_entropy），它描述了两个概率分布之间的距离，当交叉熵越小说明二者之间越接近。它是分类问题中使用比较广的一种损失函数。 给定两个概率分布p和q，通过q来表示p的交叉熵为： H(p,q)=−∑xp(x)logq(x)H(p,q)=-\sum_x p
Tensorflow 损失函数（loss function）及自定义损失函数（一）
热门推荐
Learning-Deep
06-14 3万+
我主要分三篇文章给大家介绍tensorflow的损失函数，本篇为tensorflow内置的四个损失函数 （一）tensorflow内置的四个损失函数 （二）其他损失函数 （三）自定义损失函数 损失函数（loss function），量化了分类器输出的结果（预测值）和我们期望的结果（标签）之间的差距，这和分类器结构本身同样重要。有很多的学者花费心思探讨如何改良损失函数使得分类器的结果最优，因...
Tensorflow的loss函数计算容易出错的地方
AlphaHolo的博客
03-28 9057
1 问题的提出 按照tensorflow官方教程搭建好的一个model中的loss函数应该是采用如下的计算方法： cross_entropy = -tf.reduce_sum(y_*tf.log(y)) 其中，这个公式就是按照标准的交叉熵函数进行定义的，比较简陋，去掉了常数项系数，但是没改变总体的性质，所以算是基本交叉熵函数。 但是呢，tensorflow系统中提供了计算交叉熵函数的接
tensorflow网络学习时loss函数报nan的个人错误笔记
RoyLi111的博客
01-11 693
最近本人开始利用tensorflow对振动数据进行学习的时候，发现通过modelfit进行学习时accuracy在一个值不变，loss一直报错nan。 刚开始我以为是数据或者学习率问题，先对学习率调为0，还是有nan，再去看网络和数据，使用了下面代码： numpy.any(numpy.isnan(x_test)) 发现我的数据是空值，这问题就大了，我回去检查了好几遍数据都没毛病。结果回头发现是在写函数的时候把return的缩进跳到if内了，造成了一次if就return一个值，让我的数据寄了，直接哭晕。
CTCLoss损失率变负
最新发布
05-09
<think>好的，我现在需要解决用户提出的CTCLoss损失函数输出负值的问题。首先，我得回忆一下CTCLoss的基本原理和常见问题。用户提到损失变负，这可能涉及到输入数据的问题、损失函数的使用方式或者数值计算方面的问题。 根据引用[3]中的PyTorch示例，CTCLoss的输入包括logits、目标序列、logits长度和目标长度。其中，logits需要经过log_softmax处理，这一点是否正确？如果用户没有正确应用log_softmax，可能会导致计算结果异常。比如，如果错误地使用了softmax而不是log_softmax，可能会影响损失值的计算，从而出现负数。 接下来，查看引用[4]中提到，训练数据未归一化可能导致损失为负。虽然CTC损失通常处理的是分类问题，输入是否需要归一化呢？可能用户的输入数据范围不合适，比如logits的值过大或过小，导致在计算时出现数值下溢或溢出，从而得到负数。这时候建议用户检查输入数据是否需要归一化或标准化。 另外，引用[2]指出CTC损失用于序列学习问题，而目标序列和输入序列的长度设置是否正确？例如，logits的长度（通常是时间步数）是否比目标序列长度足够长？如果目标长度超过logits的长度，CTC无法对齐，可能导致计算错误，出现负数损失。 还有，是否有可能在计算过程中梯度反向传播时出现了问题？例如，logits是否需要requires_grad，或者在计算时有没有正确处理序列长度？比如，在PyTorch中，CTCLoss的参数顺序是否正确，logits的长度和目标长度是否以正确的方式传入？ 此外，激活函数的选择也可能影响。例如，是否在模型的最后一层正确使用了log_softmax，而不是普通的softmax或其他激活函数？根据引用[5]中的多头注意力机制，模型输出可能需要适当的处理才能作为CTCLoss的输入。 还有可能，用户的目标标签中包含非法值，比如类别索引超出了logits的维度。例如，如果logits的最后一个维度是29（如引用[3]中的例子），目标标签是否从0开始，或者是否包含了超出28的数值？这会导致计算错误，进而损失为负。 另外，检查损失函数的实现是否有版本差异。不同深度学习框架（如PyTorch、TensorFlow）对CTCLoss的实现可能有不同的要求，比如输入形状、是否包含blank标签的位置等。用户是否按照框架的文档正确设置了参数？ 最后，数值稳定性也是一个因素。当logits的值非常大或非常小时，进行log_softmax可能会得到-inf或nan，进而导致损失计算出错。这时可以考虑对logits进行适当的缩放，或者使用数值稳定的实现方式。 综合以上可能原因，我需要逐步引导用户检查这些方面，并提供对应的解决方案。比如，确认log_softmax的应用，检查输入数据的归一化，验证序列长度的设置，确保目标标签的正确性等。同时，结合引用中的信息，比如引用[4]提到的归一化方法，可能对解决问题有帮助。</think>关于CTC损失函数输出负值的问题，以下是详细分析和解决方案： ### 一、CTCLoss负值原因分析 1. **输入未归一化导致数值溢出** CTC损失要求输入logits经过$log\_softmax$处理[^3]。若直接使用原始logits或未经归一化处理，可能出现数值溢出，导致计算结果异常。例如： $$ \text{log\_softmax}(x_i) = x_i - \log(\sum e^{x_j}) $$ 当$x_j$值过大时，指数运算会导致数值不稳定[^4]。 2. **目标序列与输入长度不匹配** CTC要求输入序列长度必须 ≥ 目标序列长度。若设置`logits_lengths < target_lengths`，数学上会导致不可行解，损失函数可能返回负值[^3]。 3. **标签索引越界** 若目标标签包含超出词汇表范围的值（如词汇表大小为29时使用索引29），会导致计算错误[^3]。 4. **框架实现差异** PyTorch与TensorFlow对空白符(blank)位置的定义不同（PyTorch默认blank=0），错误设置会导致计算异常[^3]。 ### 二、解决方案及代码验证 1. **强制归一化输入** ```python # PyTorch示例：添加log_softmax层 import torch.nn as nn class Model(nn.Module): def __init__(self): super().__init__() self.rnn = nn.LSTM(input_size=80, hidden_size=256) self.fc = nn.Linear(256, 29) # 假设29个字符 def forward(self, x): x, _ = self.rnn(x) x = self.fc(x) return x.log_softmax(dim=2) # 必须dim=2 ``` 2. **长度验证函数** ```python def validate_lengths(logits_len, target_len): if not (logits_len >= target_len).all(): raise ValueError("logits长度必须≥目标序列长度") # 使用示例 validate_lengths(logits_lengths, target_lengths) ``` 3. **标签范围检查** ```python # 检查目标标签是否在[0, num_classes-1]范围内 assert (targets >= 0).all() and (targets < 29).all(), "标签越界" ``` ### 三、调试流程图 ``` 开始 → 检查log_softmax → 是 → 检查长度关系 → 是 → 检查标签范围 → 是 → 检查空白符位置 → 结束 ↓ ↓ ↓ ↓ 否 否 否 否 ↓ ↓ ↓ ↓ 添加归一化 修正长度参数 修正标签索引 调整blank参数 ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值