tf.contrib.seq2seq.sequence_loss 中logit和label shape不匹配报错

最新推荐文章于 2021-11-19 13:55:19 发布
原创 最新推荐文章于 2021-11-19 13:55:19 发布 · 3.6k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#随笔 #tensorflow #seq2seq #attention #speech recognition

在使用TensorFlow进行多GPU并行训练seq2seq模型时，遇到InvalidArgumentError，原因是logits和labels的第一维尺寸不匹配。错误源于label的形状固定而logits的长度依据sequence_length动态变化。解决方案是对label进行截断，使其长度与logits一致，通过`tf.slice`和`tf.sequence_mask`进行操作。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在训练seq2seq网络时，单个gpu没有问题，但是当处理多个gpu并行时，问题来了：

在train时，总会报错：
InvalidArgumentError (see above for traceback): logits and labels must have the same first dimension, got logits shape [12,737] and labels shape [14]
[[{ {node GPU_2/sequence_loss/SparseSoftmaxCrossEntropyWithLogits/SparseSoftmaxCrossEntropyWithLogits}} = SparseSoftmaxCrossEntropyWithLogits[T=DT_FLOAT, Tlabels=DT_INT32, _device="/job:localhost/replica:0/task:0/device:GPU:2"](GPU_2/sequence_loss/Reshape, GPU_2/sequence_loss/Reshape_1/_1659)]]
[[{ {node update_parameters/clip_by_global_norm/mul_468/_19885}} = _Recvclient_terminated=false, recv_device="/job:localhost/replica:0/task:0/device:CPU:0", send_device="/job:localhost/replica:0/task:0/device:GPU:0", send_device_incarnation=1, tensor_name=“edge_148755_update_parameters/clip_by_global_norm/mul_468”, tensor_type=DT_FLOAT, _device="/job:localhost/replica:0/task:0/device:CPU:0"]]

错误代码位置：

最低0.47元/天 解锁文章

200万优质内容无限畅学
tf.contrib.seq2seq.sequence_loss example:seqence loss 实例代码
TensorFlowNews
08-08 2025
tf.contrib.seq2seq.sequence_loss example:seqence loss 实例代码#!/usr/bin/env python # -*- coding: utf-8 -*-import tensorflow as tfimport numpy as npparams=np.random.normal(loc=0.0,scale=1.0,size=[10,10])e
记一次错误的发现logits and labels must have the same first dimension
小姑仔的博客
07-20 4150
今天写代码的时候发现一次错误 这里的模型内容定义如下： from nezha import Bert batch_size = 48 bertmodel = Bert(maxlen=max_seq_len,batch_size=batch_size,**config) input_ids1 = keras.layers.Input(shape=(None,),dtype='int32',name="token_ids1") input_ids2 = keras.layers.Input(shape=(Non
tensorflow实现seq2seq模型细节（2）:tf.contrib.seq2seq.sequence_loss
outsider
05-17 3799
查看tensorflow源码其内部sequence_loss如果未指定softmax_loss_function使用的sparse_softmax_cross_entropy_with_logits 你也可以自己实现这个seq_loss: 使用这个tf.contrib.seq2seq.sequence_loss只需要传入masks。而单独使用这需要显式的写代码定义mask对sparse_sof...
tf.contrib.seq2seq.DynamicAttentionWrapper报错问题
weixin_43252798的博客
07-11 943
tensorflow版本 1.3.1 将tf.contrib.seq2seq.DynamicAttentionWrapper()改为 tf.contrib.seq2seq.AttentionWrapper() 即可 具体参考链接：https://docs.w3cub.com/tensorflow~python/tf/contrib/seq2seq/attentionwrapper/ ...
logits and labels must have the same first dimension, got logits shape
qq_32565543的博客
05-13 3506
tensorflow 报错 logits and labels must have the same first dimension, got logits shape [12,737] and labels shape [14] 这种情况下，有可能是前面某一步的tf.reshape上的维度出错。特别是reshape里面用了“-1”的时候。
tensorflow中sequence_loss_by_example()函数的计算过程（结合TF的ptb构建语言模型例子）
山不过来，我就过去
10-15 7892
1 softmax 2 交叉熵
sequence_loss_by_example和sequence_loss的逻辑
kdh的专栏
12-21 1225
先看sequence_loss的实现，在tensorflow 版本1.11.0里面，实现如下： def sequence_loss(logits, targets, weights, average_across_timesteps=True, ave...
【TensorFlow】Seq2Seq模型的代码实现 & attention机制
qq_36643449的博客
02-23 815
import tensorflow as tf SRC_TRAIN_DATA = '/path/to/data/train.en' # 源语言输入文件 TRG_TRAIN_DATA = '/path/to/data/train.zh' # 目标语言输入文件 CHECKPOINT_PATH = '/path/to/seq2seq_ckpt' HIDDEN_SIZE = 1024 NUM_LAYERS = 2 SRC_VOCAB_SIZE = 10000 TRG_VOCAB_SIZE = 4000 BA
Python之TensorFlow实现seq2seq自动文摘
数据之旅的点点滴滴
10-23 4809
简介 这篇文章中我们将基于Tensorflow的Seq2Seq+Attention模型，介绍如何训练一个中文的自动生成新闻标题的模型。自动总结(Automatic Summarization)类型的模型一直是研究热点。 直接抽出重要的句子的抽取式方法较为简单，有如textrank之类的算法，而生成式(重新生成新句子)较为复杂，效果也不尽如人意。目前比较流行的Seq2Seq模型，由 Sutskeve...
logits和labels最后一个维度匹配不上，求大神指教！
shylsh的博客
12-08 956
这几天在运行一个论文中别人改进的3D U-net，原代码是解决多尺度输入的4分类问题。我想把它改成单尺度的二分类也就是分割，但是在运行的时候，卡在了logist和label最后一个维度不匹配的错误上，希望大神可以救救孩子吧！(错误如下图) ...
shapelabel
04-29
用label,image,shpe控件三个组合的自定义的图片文本空控件
TensorFlow遇到的问题汇总（持续更新中......）
weixin_34326429的博客
05-17 357
1、调用tf.softmax_cross_entropy_with_logits函数出错。 #原因是这个函数，不能按以前的方式进行调用了，只能使用命名参数的方式来调用。 #原来是这样的： tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(y, y_)) #修改成这样的： tf.reduce_sum(tf.nn.softmax...
tensorflow(一)：tf.contrib.seq2seq.GreedyEmbeddingHelper
AckClinkz的博客
10-26 5937
关于tf.contrib.seq2seq.GreedyEmbeddingHelper的踩坑经历
【Python】tensorflow 报错集锦
morcit333的博客
10-20 561
标题首当其冲的是安装tensorflow tensorflow安装教程：https://www.cnblogs.com/codeit/p/11179454.html 运行后出现的报错：module ‘tensorflow’ has no attribute ‘placeholder’ 当前tensorlow 版本是2.3.1。tensorflow 2.0版本后placeholder废弃，所以要使用该函数，降低tensorflow的版本到1.x。 降低tensorflow版本命令行:..
关于logits and labels must have the same first dimension, got logits shape [128,10] and labels shape报错
Keep_Trying_Go的博客
11-19 2674
1. 2.我这个问题遇到的原因是在搭建层的时候，最后的全连接层出了问题：如图所示： 最后的输出是这个样子的： 所以正确的应该是这样的：加上一个全局平均池化层：将维度从[None,4,4,512] => [None,512]这个样子 以上错误的改正，但是这里需要注意几个问题，全局平均池化层的功能，还有就是如下图进行编译的这个地方损失函数的选择： （1）需要了解的第一个问题就是：全局平均池化层的功能。可以看以下这位博主的文章： https://blog.csdn.net/weixin_426708
[Tensorflow] sparse_softmax_cross_entropy_with_logits的NaN问题
编程小白的逆袭日记
06-01 979
这是今天遇到的一个Tensorflow问题，使用sparse_softmax_cross_entropy_with_logits始终返回NaN。 查阅了Google后在github上找到了答案。 先说一下我的程序吧。 n_classes= 5 x = tf.placeholder(tf.float32, [None, 20]) y_ = tf.placeholder(tf.int64, [None]) w = tf.Variable(tf.random_uniform([20,n_classes]),n
tensorflow的用法：tf.nn.seq2seq.model_with_buckets报错
lidichengfo0412的博客
08-27 703
tf.nn.seq2seq.model_with_buckets报错的原因是seq2seq从tf.nn中移除了，改为tf.contrib.legacy_seq2seq.model_with_buckets即可
CrossEntropyLoss改进
weixin_45683677的博客
10-03 3912
文章目录前言一、CrossEntropyLoss二、SmoothCrossEntropy三、Sparse Softmax 前言 CrossEntropyLoss 是分类任务中经常使用的损失函数，但是在某些情况下，其优化效果并不是很好，本文介绍了最近出现的对CrossEntropyLoss进行改进的新损失函数 一、CrossEntropyLoss 公式： 上图是pytorch版实现的CrossEntropyLoss，可以看出其主要作用是优化了正例对应的logits（logits介绍见上一篇博文）并使其无.
losses = tf.contrib.legacy_seq2seq.sequence_loss_by_example
03-29
(loss_weights=weights, logits=logits, targets=target_sequence) This function calculates the sequence loss for a sequence-to-sequence model. It calculates the weighted cross-entropy loss for each ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值