将mnist原始图像转换为tfrecords格式

最新推荐文章于 2021-06-12 22:50:22 发布

Colie-Li

最新推荐文章于 2021-06-12 22:50:22 发布

阅读量2.6k

点赞数

CC 4.0 BY-SA版权

分类专栏：深度学习

本文链接：https://blog.youkuaiyun.com/guvcolie/article/details/77483511

深度学习专栏收录该内容

19 篇文章

订阅专栏

本文介绍如何将MNIST数据集转换为TFRecords格式，并提供了解析TFRecords文件的示例代码。通过这一过程，可以更高效地加载和预处理数据，适用于深度学习项目的训练。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

官方其实是给了mnist数据读取接口的，但还是自己实现一下，这样内部的处理机制就都明白了

mnist数据集中包含测试集和训练集（训练+验证），每个集合中包含若干图片和一个标签文件：

转tfrecords代码

#! -*- coding: utf-8 -*-

import tensorflow as tf
from PIL import Image

config = [{'dir': '/home/mi/DataSet/mnist/test/', 'type': 'test'},
          {'dir': '/home/mi/DataSet/mnist/train/', 'type': 'train'}]
for each in range(len(config)):
    mnist_dir = config[each]['dir']
    mnist_type = config[each]['type']
    with tf.python_io.TFRecordWriter('mnist_' + mnist_type + '.tfrecords') as writer:
        with open(mnist_dir + 'label.txt', 'r') as f:
            label_list = f.readline().split(',')
        for index, name in enumerate(label_list):
            print(mnist_type + ': handling ' + str(index) + '.png ...')
            image_path = mnist_dir + str(index) + '.png'
            image_raw = Image.open(image_path)
            image_byte = image_raw.tobytes()
            example = tf.train.Example(features=tf.train.Features(feature={
                "label": tf.train.Feature(int64_list=tf.train.Int64List(value=[int(name)])),
                'data': tf.train.Feature(bytes_list=tf.train.BytesList(value=[image_byte]))
            }))
            writer.write(example.SerializeToString())
    pass

解析mnist示例代码

#! -*- coding: utf-8 -*-

import tensorflow as tf
from PIL import Image

filename_queue = tf.train.string_input_producer(['mnist_test.tfrecords'])
reader = tf.TFRecordReader()
_, example = reader.read(filename_queue)
features = tf.parse_single_example(example,
                                   features={'label': tf.FixedLenFeature([], tf.int64),
                                             'data': tf.FixedLenFeature([], tf.string)})
image = tf.decode_raw(features['data'], tf.uint8)
image = tf.reshape(image, [28, 28, 1])
label = tf.cast(features['label'], tf.int32)

image_batch, label_batch = tf.train.shuffle_batch([image, label],
                                                  batch_size=1,
                                                  capacity=100,
                                                  min_after_dequeue=50)
image = tf.reshape(image_batch, [28, 28])
with tf.Session() as sess:
    init = tf.global_variables_initializer()
    sess.run(init)
    coord = tf.train.Coordinator()
    threads = tf.train.start_queue_runners(sess=sess, coord=coord)
    for i in range(3):
        data, label = sess.run([image, label_batch])
        result = Image.fromarray(data)
        result.save(str(i) + '.png')
        pass
    pass
    coord.request_stop()
    coord.join(threads)