稀疏自编码

对于稀疏自编码的学习，有以下网址可以参考：

主要参考资料是Stanford 教授 Andrew Ng 的 Deep Learning 教程讲义：http://deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial。这个讲义已经有人翻译了（赞一个），可以参见邓侃的新浪博客http://blog.sina.com.cn/s/blog_46d0a3930101h6nf.html。

参考资料http://blog.youkuaiyun.com/zouxy09/article/details/8775488，

   1995 年前后，Bruno Olshausen和 David Field 两位学者任职 Cornell University，他们试图同时用生理学和计算机的手段，双管齐下，研究视觉问题。

        他们收集了很多黑白风景照片，从这些照片中，提取出400个小碎片，每个照片碎片的尺寸均为 16x16 像素，不妨把这400个碎片标记为 S[i], i = 0,.. 399。接下来，再从这些黑白风景照片中，随机提取另一个碎片，尺寸也是 16x16 像素，不妨把这个碎片标记为 T。

        他们提出的问题是，如何从这400个碎片中，选取一组碎片，S[k], 通过叠加的办法，合成出一个新的碎片，而这个新的碎片，应当与随机选择的目标碎片 T，尽可能相似，同时，S[k] 的数量尽可能少。用数学的语言来描述，就是：

        Sum_k (a[k] * S[k]) --> T,     其中 a[k] 是在叠加碎片 S[k] 时的权重系数。

        为解决这个问题，Bruno Olshausen和 David Field 发明了一个算法，稀疏编码（Sparse Coding）。

稀疏编码是一个重复迭代的过程，每次迭代分两步：

1）选择一组S[K],然后调整a[K],使得Sum_k (a[k] * S[k])最接近T。

2）固定住a[K],在400个碎片中，选择其他更适合的碎片S’[k]，替代原先的S[K]，使得Sum_k (a[k] * S[k])最接近T。

  

另外，博客园里有一个前辈关于讲义中练习的一系列文章，在具体实现时可以参照下：http://www.cnblogs.com/tornadomeet/category/497607.html

tornadomeet的博文http://www.cnblogs.com/tornadomeet/archive/2013/03/20/2970724.html，里面有代码可以实现下