sparse coding理解

ref: 

yu kai cvpr12 tutorial 

http://blog.youkuaiyun.com/jwh_bupt/article/details/9902949

 典型的sparse coding的过程分为训练和测试。

       Training：给定一些训练样本（training samples）[ x₁, x₂, …, x_m(in R^d)]，学习一本字典的基（bases）[Φ_1,Φ₂……(also in R^d)]。可是用k-means等无监督的方法，也可以用优化的方法（这时training完了同时也得到了这些training samples的codes，i.e. a，这是一个LASSO和QP问题的循环迭代）；

       见yukai ppt，其中，讲了training的求解算法，input是several x，输出是the code of each x, i.e. a, and bases .    类似于EM 求解

       Coding：用优化的方法求解测试样本的codes（此时字典已经学得）。经典的方法是求解LASSO：

                  （1）

        自我学习就是在Training的时候采用大量无标注的自然图像训练字典，然后对带标注的图像进行编码得到特征codes。