tensorflow2.8生成TFRecord 文件

本文介绍如何使用TensorFlow生成TFRecord文件,并将其应用于图片数据集的存储与读取,以此提升训练效率。

tensorflow中文官网:关于TensorFlow | TensorFlow中文官网

TFRecord 文件是一种用来存储一串二进制 blob 的简单格式。通过将多个示例打包进同一个文件内,使用TFRecord 文件可以使得数据信息得到复用。也可以提高性能。

import pathlib
import tensorflow as tf

data_root = pathlib.Path("需要读取图片的根目录")
all_image_paths = list(data_root.glob('*/*'))
#读取图片地址
all_image_paths = [str(path) for path in all_image_paths]
#根据图片地址加载图片并封为Dataset
image_ds = tf.data.Dataset.from_tensor_slices(all_image_paths).map(tf.io.read_file)
#将Dataset输出为images.tfrec文件
tfrec = tf.data.experimental.TFRecordWriter('images.tfrec')
tfrec.write(image_ds)





根据以上代码,将根目录换成自己电脑上的目录,运行代码就可以生成images.tfrec文件,文件内包含图片的信息,TFRecord 文件生成后可以使用TFRecord 文件作为训练集,而不需要再次读取图片。

根目录结构如下:

根目录下的文件夹以图片分类命名,按照顺序读取图片与文件分类可以用作神经网络等方面训练的数据集。文中数据集下载链接:http://vision.stanford.edu/aditya86/ImageNetDogs/images.tar

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值