TensorFlow之数据读取原理解释及string_input_producer函数详解

 

一、string_input_producer函数

将文件名列表交给tf.train.string_input_producer函数，string_input_producer会生成一个先入先出的队列， 文件阅读器会需要它来读取数据。其源码如下，在tensorflow/python/input.py里：

tf.train.string_input_producer(
    string_tensor,
    num_epochs=None,
    shuffle=True,
    seed=None,
    capacity=32,
    shared_name=None,
    name=None,
    cancel_op=None
)

string_tensor：传入string_input_producer的张量或文件名列表

num_epochs：ephoch的数量，一个整数，如果指定，string_input_producer在产生OutOfRange错误之前从string_tensor中产生num_epochs次字符串。如果未指定，则可以无限次循环遍历字符串。

shuffle：是否随机打乱数据

seed：随机数种子，配合shuffle = True使用，设定之后每个ephoch的顺序都一样。

capacity：一个整数。设置队列容量。

share_name：如果设置，则此队列将在多个会话的给定名称下共享。对具有此队列的设备打开的所有会话都可以通过shared_name访问它。在分布式设置中使用它意味着只有能够访问此操作的其中一个会话才能看到每个名称。

name：此操作的名称

cancel_op：取消队列的操作

 

下面通过图讲解tensorFlow是如何读取数据的

二、tensorflow读取数据

1、tensorflow读取机制图解

首先需要思考的一个问题是，什么是数据读取？以图像数据为例，读取数据的过程可以用下图来表示：