稀疏编码最优化解法

稀疏编码的概念来自于神经生物学。生物学家提出，哺乳类动物在长期的进化中，生成了能够快速，准确，低代价地表示自然图像的视觉神经方面的能力。我们直观地可以想象，我们的眼睛每看到的一副画面都是上亿像素的，而每一副图像我们都只用很少的代价重建与存储。我们把它叫做稀疏编码，即Sparse Coding.

稀疏编码的目的是在大量的数据集中，选取很小部分作为元素来重建新的数据。

稀疏编码难点之一是其最优化目标函数的求解。

这篇文章先做一个概述，接着再分别讨论各个解法。

 

稀疏线性模型

X为一个n为特征向量，可以是一个小波信号，可以是一副图片等。

D为标准化的基础矩阵，由组成元素的基本原子构成，也称为字典。在信号中可以是不同频率的波形，在图像中可以是构成图像的基本边，角。