Bobo老师机器学习笔记第七课-使用PCA对MNIST数据集进行降噪

原创

于 2018-11-08 19:25:32 发布 · 3.5k 阅读

18 ·

CC 4.0 BY-SA版权

文章标签：

#PCA #MNIST #去噪音

本文介绍了MNIST数据集，展示了如何使用sklearn加载数据，并讨论了当sklearn下载数据时遇到的网络问题及其解决方案。通过使用PCA进行降维，不仅提高了手写数字识别的准确率至98%，而且将运行时间显著减少，证明PCA有效地去除了数据噪声。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

问题1：什么是MNIST数据集？

MNIST 数据集来自美国国家标准与技术研究所, National Institute of Standards and Technology (NIST). 训练集 (training set) 由来自 250 个不同人手写的数字构成, 其中 50% 是高中学生, 50% 来自人口普查局 (the Census Bureau) 的工作人员. 测试集(test set) 也是同样比例的手写数字数据。该问题解决的是把28x28像素的灰度手写数字图片识别为相应的数字，其中数字的范围从0到9

问题2：利用sklearn如何加载MNIST数据集？

import numpy as np 
from sklearn.datasets import fetch_mldata

mnist = fetch_mldata('MNIST original')
print mnist 
X, y = mnist['data'], mnist['target']
print X.shape

注意是利用fetch_mldata方法。如果报Socket Error,请检查能否访问http://mldata.org/repository/data/download/matlab/mnist-original 链接。如果加载成功的话，这个数据是7w条，特征值是784，因为这个是一个28*28像素的图片。

问题3：如果sklearn下载一直报socket error,那怎么办