MNIST数据集分析

MNIST数据集分析

mnist数据集托管在Yann LeCun's website

下载下来包含四个压缩文件，总共包含60，000个图片和对应的标签(55,000个训练数据和5000个验证数据)和10，000个测试图片和标签

以train-image为例子，解压转化为十六进制文件，命令为

$cp train-images-idx3-ubyte.gz   train-images.gz

$gzip -d train-images.gz

$xxd t10k-images-idx3-ubyte >/tmp/t10k-images-idx3-ubyte.txt

$vi /tmp/t10k-images-idx3-ubyte.txt

打开显示如下

每2个数字代表一个字节，前4个字节是 0000 0803 代表魔数，表明这是LeCunn官方数据。接下来的4个字节 0000 ea60 代表有60，000个图片。再接下来， 0000 001c代表28像素，第一行最后四个字节也是代表28像素。

从第二行开始之后的784个字节是第一张图片对应的像素值。每行有16个字节，所以一张图片占 784/16=49行。每张图片解析出来，类似如下，可以使用数组形式来描述它。