【MindSpore】【TFRecordDataset】无法正确处理tfrecord文件

于 2022-08-11 15:10:16 发布
阅读量367 收藏
点赞数
文章标签： tensorflow 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_45666880/article/details/126285848
版权

【运行环境】

系统：Windows10 64bit

框架：MindSpore 1.3.0

硬件：CPU

语言：Python 3.7.9

【功能模块】

mindspore.data.TFRecordDataset

【操作步骤&问题现象】

前言：利用Tensorflow中的tensorflow.data.TFRecordDataset进行对比实验

操作步骤1：

1、读取一个tfrecord文件

2、返回文件中包含的数据大小（即，多少条数据）

问题1：无法返回准确的数据大小

为进一步剖析上述问题，有下面的操作步骤2

操作步骤2：

1、读取一个tfrecord文件

2、遍历其数据

问题2：无法解析该文件

根据问题1、2，个人猜测是CPU版本的TFRecordDataset中未实现读取功能。

【截图信息】

代码：

<

最低0.47元/天 解锁文章
小乐快乐
关注
分类任务4——用dataset读取tfrecord
minopus的博客
05-11 409
用plt来显示读取是否成功。 它又来了 import tensorflow as tf import matplotlib.pyplot as plt # 定义可以一次获得多张图像的函数 def show_image(image_dir): plt.imshow(image_dir) plt.axis('on') plt.show() # 单个record的解析函数 def decode_example(example): dics={ 'image_
【Tensorflow】你可能无法回避的 TFRecord 文件格式详细讲解
frank 的专栏
06-25 3万+
如果你是 Tensorflow 的初学者，那么你或多或少在网络上别人的博客上见到过 TFRecord 的影子，但很多作者都没有很仔细地对它进行说明，这也许会让你感受到了苦恼。本文按照我自己的思路对此进行一番讲解，也许能够提供给你一些帮助。 TFRecord 是什么？ TFRecord 是谷歌推荐的一种二进制文件格式，它可以将任何信息按照特定的格式转换成二进制。 TFRecord 的核心内容在...
tfrecord数据报错 InvalidArgumentError: Feature: feature (data type: string) is required but could not
qq_41368074的博客
12-05 1857
InvalidArgumentError: Feature: feature (data type: string) is required but could not be found. 问题原因： 生成的.tfrecord数据中的key（键值）和你在代码中读取的 key 不匹配导致的。我们在使用不是自己产生的数据时经常会出现这样的错误。既然数据已经生成了，就不可能再去修改数据了，所以将你读取的代码中的键值改成生成时的就OK了 例：我产生报错的原因 生成时： feature = {
MindSpore易点通·精讲系列--数据集加载之TFRecordDataset
kaierlong的博客
07-11 398
MindSpore易点通·精讲系列--数据集加载之TFRecordDataset
读取tfrecord文件时报错
roxxo的博客
10-22 424
解决在读取tfrecord文件时报 Invalid argument: Input to reshape is a tensor with 6123 values, but the requested shape has 602112 [[{{node Reshape}}]] [[truediv/_11]] tfrecord文件封装的格式和解析函数中格式不一致引起 ，检查文件解析函数是否正确 ...
Tensorflow学习--关于读取tfrecords文件时的报错
qq_31757543的博客
04-05 644
学习tensorlow中遇到的问题 报错：OutOfRangeError (see above for traceback): RandomShuffleQueue ‘_2_shuffle_batch/random_shuffle_queue’ is closed and has insufficient elements (requested 1, current size 0) [[Node:...
tfrecords读取加载的坑
Stay fool & simple
03-01 1321
花了两天时间研究tfrecords，错在最原始的地方是最难找的bug 1.tf.train.string_input_producer([filename],num_epochs=100) num_epochs=None时 默认无限循环 设置num_epochs注意 init_op = tf.group(tf.global_variables_initializer(), tf.local_var...
python里面Dataset干嘛的_TFRecord + Dataset 进行数据的写入和读取
weixin_39890708的博客
11-21 418
一、TFRecord数据处理的优点在数据集较小时，我们会把数据全部加载到内存里方便快速导入，但当数据量超过内存大小时，就只能放在硬盘上来一点点读取，这时就不得不考虑数据的移动、读取、处理等速度。使用TFRecord就是为了提速和节约空间的。二、将数据写入TFRecord 文件首先创建一个writer，也就是我们的TFrecord生成器writer = tf.python_io.TFRecordWr...
TFrecords 制作数据报错： Number of int64 values != expected. Values size: 1 but output shape: [3]
凝眸伏笔的博客
08-15 867
1.对于定长的label和feature 生成tfrecord数据： 多标签样本，这里label包含5个 import os import tensorflow as tf import numpy as np output_flie = str(os.path.dirname(os.getcwd()))+"/train.tfrecords" with tf.python_io.TFRecordWriter(output_flie) as writer: labels = np.array(
Tensorflow读取数据-tf.data.TFRecordDataset
qdj6679的专栏
01-30 4277
Tensorflow样本数据的写和读，用到tf.data.TFRecordDataset,tf.io.TFRecordWriter等类
tf.data.dataset使用
spiderfu的博客
06-25 414
参考https://tensorflow.google.cn/api_docs/python/tf/data/Dataset from_tensor_slices： 将内存中的数据构建为数据集 dataset = tf.data.Dataset.from_tensor_slices([1, 2, 3]) repeat，batch repeat设置遍历多少遍->epoch batch设置每次sample多少数据->batchsize dataset.repeat(3).batch(2) 结果就
tensorflow dataset 基础之——tfRecord
zhao_crystal的博客
01-08 1710
tf.record是tensorflow中独有的一个格式，故其有很多优势，在读取数据方面，tf.records有着速度快的优势 1. tfRecord介绍 -> tf.train.Example. -> tf.train.Features -> {"key": tf.train.Feature}. -> tf.train.Feature -> tf.train.ByteList/FloatList/Int64List favorite_books = [...
[Tensorflow小试]之tfRecord解码数据错误解决
m0_38119819的博客
06-12 1025
以下是读取.tfrecord数据的部分代码： data_queue = tf.train.string_input_producer(image_list, shuffle=shuffle) reader = tf.TFRecordReader() fid, serialized_example = reader.read(data_queue) parser = tf.parse_single_example(serialized_example, features=decomp_feature) .
Failed to find data source: text
微电子学与固体电子学-俞驰
02-25 2207
出现问题如下： sing Spark’s default log4j profile: org/apache/spark/log4j-defaults.properties Exception in thread “main” java.lang.ClassNotFoundException: Failed to find data source: text. Please find packag...
tfrecord原理详解 手把手教生成tfrecord文件与解析tfrecord文件
bitcarmanlee的博客
03-18 9419
1.什么是tfrecord TFRecord 是Google官方推荐的一种数据格式，是Google专门为TensorFlow设计的一种数据格式。 TFRecord本质上是二进制文件，目的是更好的利用内存。用户可以将训练集/测试集打包成生成TFRecord文件，后续就可以配合TF中相关的API实现数据的加载，处理，训练等一系列工作，可以方便高效的训练与评估模型。 2.tfrecord原理 TFRecord 并非是TensorFlow唯一支持的数据格式，你也可以使用CSV或文本等格式，但是对于TensorFlo
ClassNotFoundException: Failed to find data source: jdbc
伏虎游侠的博客
02-07 5922
Exception in thread "main" java.lang.ClassNotFoundException: Failed to find data source: jdbc. Please find packages at http://spark.apache.org/third-party-projects.html The question is almo
Python成功解决TypeError: __init__() missing 1 required positional argument: ‘comment‘
热门推荐
weixin_44991673的博客
11-24 8万+
文章目录源代码报错类型解决方法 源代码 class Book: def __init__(self, name, author, comment, state = 0): self.name = name self.author = author self.comment = comment self.state = state # 创建一个Book类的子类 FictionBook class FictionBook(Book)
tensorflow错误日志-tfrecord读取错误
weixin_41228571的博客
06-30 2423
tfrecord在读取时要注意读取后的数据必须与tfrecord写入之前的数据类型保持一致，否则会出现常见的两种错误： 一、无法reshape ValueError: Cannot reshape a tensor with 1 elements to shape [256,256,4] (262144 elements) for 'Reshape' (op: 'Reshape') with...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值