实验要求可以参考deeplearning的tutorial, Exercise:Self-Taught Learning 。本实验和上一个实验一样都是对手写数字0-9的识别,区别在于上一个实验直接把原始图像的像素值作为特征输入到softmax回归进行分类,而本实验通过自学习从原始像素值从学习到维度更低的特征(稀疏自动编码),再交给softmax回归,相当于比之前的实验多了自学习特征的步骤,最后实验显示,加上自学习特征之后模型的正确率更高。
1. 神经网络结构:
实验中为三层神经网络,输入层28*28个neuron,隐含层200个neuron(都不包括bias结点),输出层为10个neuron。2. 数据:
实验中的数据采用的是MNIST手写数字数据库(0-9手写数字),共6万个手写数据,每个样本是大小为28*28的图片,下图是把训练数据中的前100个手写数据图像进行显示。因为稀疏自动编码为非监督模型,softmax回归为监督模型,所以我们把原始数据集分成unlabeled数据集和labeled数据结