python解析MNIST数据集(IDX格式)

最新推荐文章于 2023-03-10 12:18:57 发布

原创

最新推荐文章于 2023-03-10 12:18:57 发布 · 1.4k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#python #MNIST #IDX格式 #训练集 #测试集

这篇博客介绍了如何使用Python解析MNIST数据集的IDX格式。通过下载数据，解压文件，然后在Jupyter Notebook中加载并分析测试集，揭示了测试集中包含10000个样本，每个样本的特征向量为784维，对应的labels存储了0-9的分类类别。

下载地址：http://yann.lecun.com/exdb/mnist/
解压如图
在这里插入图片描述上传使用的是Jupyter Notebook，所以有这一步，其他编辑器自己考虑路径
代码

import os
import struct
import numpy as np
def read_mnist(labels_path,images_path):
    with open(labels_path, 'rb') as lbpath:
        magic, n = struct.unpack('>II',
                                 lbpath.read(8))
        labels = np.fromfile(lbpath,
                             dtype=np.uint8)

    with open(images_path, 'rb') as imgpath:
        magic, num, rows, cols = struct.unpack('>IIII',
                                               imgpath.read(16))
        images = np.fromfile(imgpath,
                             dtype=np.uint8).reshape(len(labels), 784)

    return images, labels

labels_path = 't10k-labels.idx1-ub