将自己的数据集制作成TFRecord格式

最新推荐文章于 2025-10-14 10:20:39 发布

原创

最新推荐文章于 2025-10-14 10:20:39 发布 · 1.7w 阅读

CC 4.0 BY-SA版权

文章标签：

本文详细介绍了如何将数据集转化为TFRecord格式，以供TensorFlow神经网络训练使用。内容包括原始数据集的准备，通过代码将图片分类数据制作成TFRecord文件，利用文件队列和多线程读取数据，以及如何打包成batch作为网络输入。

在使用TensorFlow训练神经网络时，首先面临的问题是：网络的输入

此篇文章，教大家将自己的数据集制作成TFRecord格式，feed进网络，除了TFRecord格式，TensorFlow也支持其他格

式的数据，此处就不再介绍了。建议大家使用TFRecord格式，在后面可以通过api进行多线程的读取文件队列。

此时，我有两类图片，分别是xiansu100,xiansu60,每一类中有10张图片。

14 条评论

nanfangyuanyuan 2019.07.05
楼主按照 img = Image.open(img_path) img= img.resize((224,224)) img_raw = img.tobytes() 最后生成的tfrecord格式大小都一样啦！！这样tfrecord就不能被读取啦，求教啊

天马行空的神经质少女 2019.05.14
To construct input pipelines, use the `tf.data` module.请问这句报错是什么意思？

ccc_12345 2019.03.29
为啥读取报错呀 tensorflow.python.framework.errors_impl.InvalidArgumentError: Input to reshape is a tensor with 200704 values, but the requested shape has 150528
- 方舟后裔回复羸弱的穷酸书生 2020.04.10
  [reply]zy1620454507[/reply]你好，我的图片全是jpg格式的，为什么也存在尺寸不符的情况？为什么有的图片resize会失败？
- ccc_12345回复羸弱的穷酸书生 2019.04.06
  [reply]zy1620454507[/reply] 嗯嗯
- 羸弱的穷酸书生回复ccc_12345 2019.04.05
  [reply]ccc_12345[/reply] 遇到了同样的问题，经过一番排查，是数据的问题，如果图片是png格式的，那么通道数会是4，导致reshape时出现异常，制作tfrecord的时候可以打印一下image.mode，看下是否是‘RGB’，不是则忽略这张图片 [code=python] for img_name in os.listdir(class_path): img_path = class_path + img_name img = Image.open(img_path) if img.mode != 'RGB': continue [/code]

薛定谔的Cat 2019.01.04
博主您好，能参考一下feed进网络的代码吗？感谢
- 迷失银河__恒回复薛定谔的Cat 2019.04.15
  [reply]qq_33353637[/reply] 您好打扰了，想请问一下我是将图片中的检测信息标注出来了，我怎么去使用xml文件制作成TFR文件呢？

qq_41180273 2017.12.24
想问一下这样的话一个batch里面的图片会不会都来自一个类？
- v1_vivian回复qq_41180273 2017.12.31
  [reply]qq_41180273[/reply] 不会，我这里的方法用的是f.train.shuffle_batch，这是一个乱序的队列，具体可以查一下这个函数