稀疏编码(Sparse Coding)的前世今生(三)

稀疏编码(sparse coding)和低秩矩阵(low rank)的区别

       上两个小结介绍了稀疏编码的生命科学解释，也给出一些稀疏编码模型的原型(比如LASSO),稀疏编码之前的探讨文章就不说了，今天开始进入机器学习领域的稀疏表达。稀疏编码进入机器学习领域后，出现了很多应用，比如计算视觉领域的图像去噪，去模糊，物体检测，目标识别和互联网领域的推荐系统（Collaborative filtering）用到的low rank,其实sparsecoding和low rank有点区别，前者是稀疏系数，后者是稀疏基。就统称他们为稀疏表达吧。接下来简单的阐述下sparse coding和low rank的区别：

      Sparsecoding就是围绕着开展工作，比如找到稀疏字典D和稀疏系数 alpha，如果X是人脸图像，训练的目标就是为了找到合适的字典基和一些系数的线性组合可以重建人脸X，假设训练样本有K类（即为K个人），每类有N个样本，那么D可表达为：