Tensorflow2.0 自定义图像数据集读取加速 tf.data.Dataset.cache (二)

最新推荐文章于 2022-05-10 10:55:36 发布

原创

最新推荐文章于 2022-05-10 10:55:36 发布 · 3.6k 阅读

16 ·

CC 4.0 BY-SA版权

文章标签：

#python #tensorflow #计算机视觉

本文对比了Tensorflow2.0中使用.pipeline(), .cache()以及创建缓存文件三种方式在处理自定义图像数据集时的性能。实验结果显示，.cache()和缓存文件能显著提高数据读取速度，特别是多次迭代时，效率提升明显。" 104792896,5711944,MAC环境下使用keytool解析APK签名信息,"['Android开发', '签名验证', '命令行工具', 'keytool']

接上一篇Tensorflow2.0 tf.data.Dataset.from_tensor_slices 自定义图像数据集 (一)。这里对比pipeline、cache(缓存)和.cache(filename=’./cache.tf-data’)方法建立缓存文件

这里写目录标题

Tensorflow
参考

Tensorflow

pipeline性能

在建立tf.data.Dataset.from_tensor_slicestf.data.Dataset.from_tensor_slices对象后，建立一个时间函数来记录数据读取的时间

steps_per_epoch=100
import time
default_timeit_steps = 2*steps_per_epoch+1

def timeit(ds, steps=default_timeit_steps):
    overall_start = time.time()
    # 在开始计时之前
    # 取得单个 batch 来填充 pipeline（管道）（填充随机缓冲区）
    it = iter(ds.take(steps+1))
    next(it)

    start = time.time()
    for i