【Tensorflow2.0】去掉不足一个batch的多余数据

墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 700+累计阅读 792平均单平台已同步平台优快云微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网我也要 → 码龄9年

关注

转载最新推荐文章于 2026-05-05 10:48:56 发布 792 阅读 AI 写同款· GEO 优化 ›

tensorflow入门：TFRecordDataset变长数据的batch读取在上一篇文章tensorflow入门：tfrecord 和tf.data.TFRecordDataset里，讲到了使用如何使用tf.data.TFRecordDatase来对tfrecord文件进行batch读取，即使用dataset的batch方法进行；但如果每条数据的长度不一样（常见于语音、视频、NLP等领域），则不能直接用batch方法获取数据，这时则有两个解决办法：1.在把数据写入tfre... 阅读详情

需要在数据的的batch中添加drop_remainder=True即可

类似，如：

train_dataset = tf.data.Dataset.from_tensor_slices((train_data, train_labels))
train_dataset = train_dataset.shuffle(buffer_size=1024).batch(BATCH_SIZE, drop_remainder=True)

收录于

tensorflow2.0

当前文章被收录于：

tensorflow2.0

1 篇文章 0 人学习

订阅专栏查看详情

当前文章被以下社区和专栏收录：

标签

#batch #tensorflow #深度学习

原文链接：https://stackoverflow.com/questions/70313390/invalidargumenterrorinput-to-reshape-is-a-tensor-with-405000-values-but-the-re/70324682#70324682>

tensorflow2.0 ValueError: Empty training data.报错使用tensorflow2.0 训练数据时，出现Empty training data报错： File "gru_layer2.py", line 74, in <module> network.fit(db_train, epochs=epochs, validation_data=db_val,steps_per_epoch=x_train.shape[0]//batchs... 阅读详情

相关推荐

tensorflow batch函数实现

def get_batch(image, label, image_W, image_H, batch_size, capacity): image = tf.cast(image, tf.string) label = tf.cast(label, tf.int32) #生成列队 input_queue = tf.train.slice_input_p...

i96jie的博客 3296

Block 签名信息的使用

Block在OC中却是一个非常神奇的存在,即具备了对象的特性(具备isa指针),又具备了方法的特性(具有自己的实现函数),这就自然而然注定了Block会与众不同.除了常规使用之外,还可以利用Block做一些"骚操作". Block签名在OC中中所有的方法都有编码信息,签名信息包含了方法的参数类型和返回值类型等信息.对于对象的实例方法可以利用 Method method =...

王二东的博客 1025

详解tensorflow之tf.train.batch与tf.train.shuffle_batch附完整代码

tf.train.batch与tf.train.shuffle_batch的作用都是从队列中读取数据，它们的区别是是否随机打乱数据来读取。 tf.train.batch()函数 tf.train.batch( tensors, batch_size, num_threads=1, capacity=32, enqueue_many=False, sh...

陈伟的梦呓 1666

tensorflow基本语法

tensorflow基本语法一.基本数据结构-张量 1.创建张量tf.constant(XX) 2.从np转为tensor import numpy as np tf.convert_to_tensor(np.ones([2,3])) 3.创建元素为指定值的tensor a = tf.zeros([2,3,3]) 2个3*3矩阵 tf.zeros_like(a) ones()和ones_like同理 tf.fill([2,3],5) 2

可爱可爱没有脑袋的博客 728

8 | Tensorflow中的batch批处理

TensorFlow支持批处理（batch processing）。批处理是指同时处理多个样本或数据点而不是单个样本。在深度学习中，批处理通常用于提高训练的效率和稳定性。在TensorFlow中，可以使用 API来设置和处理批处理数据。这允许以批处理的方式加载和处理数据，适用于训练神经网络模型。以下是一个简单的TensorFlow批处理的示例代码：这个例子中，用于将输入数据切片成小批次，然后通过和方法进行打乱和批处理。常见的批处理操作主要涉及 TensorFlow 中的类和相关函数，用于处理

微信号：RunsenLiu 972

Tensorflow2.0 对自己的图片数据集进行分类

这是一套完整的使用自己的图片数据集进行训练的模板文件。

cocofisher的博客 5519

tensorflow2.0 函数举例详解

import tensorflow as tf from tensorflow.keras import datasets, layers, optimizers, Sequential, metrics import numpy as np 1、tf.data.Dataset.from_tensor_slices:它的作用是切分传入Tensor的第一个维度，生成相应的dataset。将输入的张量的第一个维度看做样本的个数，沿其第一个维度将tensor切片，得到的每个切片是一个样本数据。实现了输入张量

weixin_42713739的博客 1242

在tensorflow中实现去除不足一个batch的数据

今天小编就为大家分享一篇在tensorflow中实现去除不足一个batch的数据，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

tf.data.Dataset函数

函数原型 tf.data.Dataset( variant_tensor ) 函数说明通常使用tf.data.Dataset.from_tensor_slices函数来创建一个Dataset对象，Dataset用于表示一个数据集，这个数据集是可以迭代的。from_tensor_slices函数的原型为：from_tensor_slices(tensors, name=None)，该函数的作用是将tensor张量在第一个维度上切分并转换成Dataset对象，包含多个元素。还有个类似的函数from

weixin_49346755的博客 3279

LTE信令流程及业务流程

eNB返回E-RAB建立响应消息，E-RAB建立列表信息中包含成功建立的承载信息，E-RAB建立失败列表消息中包含没有成功建立的承载消息。3）当下行数据达到时，网络侧先对UE进行寻呼，随后UE发起随机接入过程，并发起service request过程。用户面：S-GW向eNB发送承载建立请求，包含（IMSI, QoS, TFT, TEID, LBI等）控制面：MME向eNB发送E-RAB建立请求，包含E-RAB ID,QoS,S-GW TEID。3）在S1接口上建立S1承载，在Uu接口上建立数据无线承载。

qq_44390640的博客 4582

光通信仿真入门：手把手教你用VPI和Matlab搭建第一个联合仿真系统（含避坑指南）

本文详细介绍了如何使用VPI和Matlab搭建光通信联合仿真系统，涵盖软件配置、链路搭建、数据交互等关键环节，并提供常见问题的解决方案。特别适合初学者快速掌握光通信仿真技术，避免常见错误，提升仿真效率。

weixin_28733637的博客 378

学习笔记0408

在语言模型中，全连接层通常用于将模型的最后一层映射到输出词汇表的概率分布。在上面提到的例子中，是 TensorFlow 数据集 API 中的一个方法，用于从给定的张量（tensor）中创建一个数据集。模型简单易用，适用于构建简单的线性堆叠模型，其中每一层都只有一个输入张量和一个输出张量。函数会将输入的张量或列表沿着第一维切片，从而创建一个新的数据集，其中每个元素都是原始张量或列表中的一个切片。text = "这是一个简单的例子，用于演示语言模型的基本实现。层用于模型的输出层，以预测下一个词的概率分布。

m0_61478099的博客 1587

时序分析-由D触发器结构来理解Tsu、Th

FPGA逻辑单元内的D触发器（D-FF）是一种在时钟的上升沿（或下降沿）将输入信号的变化传送至输出的边沿触发器。数字电子技术基础-闫石（第五版）边沿D触发器内部结构见下图：而FPGA原理与结构（日）一书中，内部结构较之上图多了俩反相器：由传输门和俩个反相器组成一个循环电路（锁存器），再由前后两级锁存器按主从结构链接而成。这里的传输门起开关作用，随着CLK的状态变化切换开关。只看输出的话，前级锁存器的值会随着时钟输入的变化井然有序地传入后级锁存器。为了防止时钟信号变化时输入信号发生冒险，从而使稳定.

XY_Chang的博客 3973

tensorflow中去除不足一个batch的数据

利用tensorflow做lstm,遇到一个奇怪的问题，只是显示输入格式不对，但是换个batch_size就可以了，思来想去可能是tensorflow1.0的bug，写一下解决方案解决方案1：直接采用 steps_per_epoch 参数，将原来的代码 AE.fit(x_train, x_train, epochs=params['epochs_pre'], batch_size=batch_size, ...

qq_38603174的博客 2370

山东大学软件测试实验2——系统功能测试

给出一个被测试的 Web 应用系统（SUT）。http://211.87.232.162:8080/注：友情链接不用延伸测试。针对被测试的 Web 应用系统进行功能测试，发现其存在的缺陷。

m0_74033391的博客 2409

Tensorflow2.0加载图片数据集的两种方式

在tensorflow2.0中加载图片数据集一般有两种方式，第一种是使用tf.keras中的ImageDataGenerator生成器，适合图片分类问题，简单但不灵活；第二种是使用tf.data.Dataset搭配tf.image中的一些图片处理方法，较为灵活。下面分别介绍一下。

weixin_43917574的博客 7809

【STM32项目】基于STM32设计的震动马达超声波电机高频震动——高级定时器PWM互补输出带死区控制__资料编号3

实现高级定时器互补输出带死区控制，实现震动/超声波电机/马达，高频震动。使用 STM32F103 芯片输出两路互补 PWM，并带有死区和刹车控制功能。定时器 1 通道 1 及其互补通道输出PWM，且带死区控。当定时器 1 的刹车输入引脚被拉高时，产生刹车时间，即定时器 8 停止输出 PWM。当刹车输入引脚被拉高时，通道 1 和通道 2 将从有波形输入状态转换成无效电平状态。

嵌入式阿齐Archie 6742

有趣的深度学习——使用TensorFlow 2.0 + RNN 实现一个古体诗生成器

一、前言很早之前，我曾经写过一个古体诗生成器（详情可以戳TensorFlow练手项目二：基于循环神经网络(RNN)的古诗生成器），那个时候用的还是Python 2.7和TensorFlow 1.4。随着框架的迭代，API 的变更，老项目已经很难无障碍运行起来了。有不少朋友在老项目下提出了各种问题，于是，我就萌生了使用TensorFlow 2.0重写项目的想法。这不，终于抽空，重写了这个项目。...

笔墨留年。 1万+

药物对接仿真软件：HADDOCK_（5）.HADDOCK中蛋白质-配体对接流程

半柔性能量最小化阶段是在刚体能量最小化的基础上，允许配体的部分柔性，通过优化配体的构象来进一步提高对接的准确性。半柔性能量最小化阶段是在刚体能量最小化的基础上，允许配体的部分柔性，通过优化配体的构象来进一步提高对接的准确性。如果是PDB格式，确保文件包含所有必要的原子信息。对接完成后，HADDOCK会生成一系列的输出文件，包括对接后的蛋白质-配体复合物结构文件、能量评分文件和统计分析文件。对接完成后，HADDOCK会生成一系列的输出文件，包括对接后的蛋白质-配体复合物结构文件、能量评分文件和统计分析文件。

kkchenjj的博客 1081

RK3566/RK3568 Android 11 无操作自动隐藏导航栏、底部上拉显示导航栏

RK3566/RK3568 Android 11 定制大全在系统服务中增加无操作自动隐藏导航栏方法，在上层app动态调用无操作自动隐藏导航栏方法，系统会在5秒无操作后自动隐藏导航栏，隐藏导航栏后从底部上拉可显示导航栏，设备关机和重启后也能继续生效。

qq_23921815的博客 1260

【Tensorflow】用自己的数据创建batch训练网络

1 tf.slice_input_producer（）首先需要讲解两个函数,第一个函数是：tf.slice_input_producer（），这个函数的作用是从输入的tensor_list按要求抽取一个tensor放入文件名队列，下面解释下各个参数： tf.slice_input_producer(tensor_list, num_epochs=None, shuffle=True, seed...

yipala的博客 1652

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候提示IE WebControls 不通过，这个工具可以欺骗u8的检查。跳过U8环境检测的IE WebControls。提示导入失败后，重新检测通过。

tensorflow2.0 读取图片数据总结

大部分的教程讲解的都是MNIST等已经为用户打包封装好的数据集，用户只需要load_data即可实现数据导入。但是在我们平时使用时，无论您是做分类还是检测或者分割任务，我们不可能每次都能找到打包好的数据集使用，大多数时候我们使用的都是自己的数据集，也就是我们需要从本地读取文件。因此我们是很有必要学会数据预处理这个本领的。本篇文章，我们就聊聊如何使用TensorFlow2.0对自己的数据集进行处理。...

qq_35306993的博客 5683

OV9734 DATASHEET，完整规格书

OV9734完整规格书，包括电气参数，尺寸规格，寄存器配置表等

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

TensorFlow的Dataset的padded_batch使用

padded_batch API如下 padded_batch( batch_size, padded_shapes=None, padding_values=None, drop_remainder=False ) 注意参数drop_remainder用来约束最后一个batch是不是要丢掉，当这个batch样本数少于batch_size时，比如batch_size = 3,最后一个batch只有2个样本。默认是不丢掉 padded_batch是非常见的一个操作，比如对一个变成的...

怀梦远航的专栏 4544

文档：亲测可用解决vnc灰屏，黑屏，鼠标大黑叉情况

主要解决vnc-viewer灰屏，黑屏，鼠标大黑叉等现象，详细见文档。

tensorflow2.0数据加载

前言这个是我学习网易云课堂上对于tensorflow2.0数据加载内容的笔记小型的经典数据通过keras.datasets就可以使用 keras.datasets可以加载的数据集 boston houseing mnist/fashion mnist cifar10/100 imdb tf.data.Dataset.from_tensor_slices ...