TensorFlow数据集操作（使用slim和tfrecord）

在卷积神经网络中，输入的图像数据集都非常大，而且与其他数据不同，图像都需要以三维张量（height，width，channel）形式表示，这样使得神经网络读取数据非常麻烦。在TensorFlow框架中，有一种用的非常多的方法来处理数据集，就是tfrecord文件，它与TensorFlow的中层封装库slim搭配使用起来非常方便，下面我以DeepLabv3+中的数据处理代码为例解释一下该方法。

该数据处理过程主要包括三步：

1. 读入图像和标签数据，并转化为tfrecord格式
2. 使用slim库解码tfrecord文件，生成描述数据集信息的dataset
3. 根据dataset得到相对应的图像和标签数据，并组成batch格式，输入队列

１．读入图像和标签数据，并转化为tfrecord格式

DeepLabv3+模型使用的是分割与检测数据集PASCAL VOC2012，在这里只使用它的分割部分在它的VOC主目录下包括5个文件夹，如图1所示。其中JPEGImages文件夹下是所有的原始图像image；SegmentationClass文件夹下是与图像相对应的标签label；ImageSets文件夹如图2所示，其中Segmentation文件夹下为输入图像的4个文件名索引文件，其内容如图4所示


下面的代码为从前面的图像和标签数据生成tfrecord的过程（源程序的简化版，省略了图像高和宽的计算过程与example中生成整型和字符串型属性的程序）。从数据集生成tfrecord文件主要步骤为：（1）读入图像文件名的索引文件，即生成索引列表；（2）将索引列表所指代的图像声明分别由多个tfrecord文件存储；（3）读取图像和标签文件；（4）将图像和标签的像素值，文件类型，图像通道数等重要信息通过tfrecord的数据结构存储。

import math
import os.path
import sys
import tensorflow as tf

dataset_splits = tf.gfile.Glob(os.path.join('./VOCdevkit/VOC2012/ImageSets/Segmentation', '*.txt')) # 查找匹配该路径名的文件（即前面提到的4个图像索引文件）
for dataset_split in dataset_splits:
	dataset = os.path.basename(dataset_split)[:-4] # 返回路径dataset_splits所对应的文件名，并且去除扩展名.txt
	filenames = [x.strip('\n') for x in open(