深度学习中的稀疏表示与MNIST数据集分析
1. MNIST数据集介绍
MNIST是一个手写数字数据集,包含60,000个用于训练的样本和10,000个用于测试的样本。该数据集的维度为784,当字典大小为18个原子时,能达到96.3%的准确率。
1.1 MNIST数据集测试结果
下面是不同原子数量下的时间和准确率情况:
| #Atoms | Time | Accuracy |
| ---- | ---- | ---- |
| K = 14 | 18s | 95.34 |
| K = 16 | 21s | 95.12 |
| K = 18 | 22s | 96.32 |
| K = 23 | 32s | 96.4 |
从这个表格中我们可以看到,随着原子数量的增加,训练和测试时间总体上呈现增长趋势,而准确率也有一定的提升,但并不是原子数量越多,准确率提升就越明显。
1.2 模型计算复杂度分析
从UHTelPCC和MNIST的训练和测试时间减少情况来看,该模型具有较低的计算复杂度。这种非参数化的学习分类器权重的方法,支持在稀疏编码以及深度学习中使用统计概念。这里的非参数化方法意味着不需要预先假设数据的分布形式,能够更加灵活地适应不同的数据特征。
2. 深度学习的转变与稀疏表示算法
深度学习经历了从正交变换到过完备分析变换,再到过完备合成字典,最后到参数化深度学习的转变。在稀疏表示算法中,会使用概率模型,对变量设置不同的先验和超先验,采用参数化和非参数化的方法进行参数估计。
超级会员免费看
订阅专栏 解锁全文
693

被折叠的 条评论
为什么被折叠?



