很多Tensorflow第一课的教程都是使用MNIST或者FashionMNIST数据集作为示例数据集,但是其给的例程基本都是从网络上用load_data函数直接加载,该函数封装程度比较高,如果网络出现问题,数据集很难实时从网上下载(笔者就多次遇到这种问题,忍无可忍),而且数据是如何解码的也一无所知,不利于后续的学习和理解,因此本文主要介绍对下载到本地的MNIST或FashionMNIST数据集如何加载解析的问题。
下载到本地的数据集一般有两种格式:numpy的压缩格式.npz,以及gzip压缩格式.gz,下面我们分别介绍,在以下介绍中,均假设读者已经将数据集下载到本地了,如果不知道从哪里下载,请百度。
- npz格式数据集的加载代码非常简单,直接用numpy的load函数即可
import numpy as np
# 假设数据保存在'./datasets/'文件夹下
try:
data = np.load('./datasets/mnist.npz')
x_train, y_train, x_test, y_test = data['x_train'],data['y_train'],data['x_test'],data['y_test']
# 可以将其中一条数据保存成txt文件,查看一下,会对这组数据有个直观的感受
# np.savetxt('test.txt',x_train[0],fmt='%3d',newline='\n\n')
# 将数据归一化
x_train, x_test = x_train/255.0, x_test/255.0
exc