deep learning

深度学习记录

深度学习在我看来，并不是这几年才有。在深度学习的开拓者Hinton大牛2006年在science上发的那篇开山作之前，深度学习还是主要在神经网络上有所体现。只是传统的神经网络在层数一多的情况下，便搞不定了。有种东西，但是无法很好实现，便无从来挖掘内部的价值了。

所谓的深度，并不是指具体网络的层数，而在与挖掘数据特征的深度。当然很多时候基于神经网络深度特征的挖掘与层数有很大的关联。但并不意味着层数多就能挖到深层次的特征。

Hinton发的那篇开篇作其主要贡献还是在神经网络的结构上提出了一个新的学习结构算法：逐层贪婪学习算法（Greedy layer-wise training）。简要来说就是在神经网络学习的过程中，将end to end 的BP学习方法变为layer wise的training。在逐层地算出隐含层之后再来微调网络的权值。最后达到快速提取数据特征的目的。简略来说，就是在已有的神经网络的结构上进行改进，使得传统神经网络难以解决的问题得到较好的解决。

那如何自主挖掘数据的特征？一个重要的概念就是自动编码。意思是说，你给一堆数据，我来通过一组系数的权重叠加，生成另外一组数据。然后用生成的这组数据，通过系数权重叠加来重构原始数据。如果通过优化参数，能将原始数据解构后又很好的重构，那么解构后的这些数据就能很好地表示原来的数据。这就是降维。通过如此反复解构重构，最终得到一组解构后的特征。而这组特征又能很完美重构原始数据，那么，这个特征提取部分就能完成。而深度学习的重要的核心就是在这里了——让算法自己去挖掘数据的重要特征！主要入门资料如下：

Deep Learning的学习笔记：http://blog.youkuaiyun.com/zouxy09/article/details/8781396

从最大似然到EM算法浅解：http://blog.youkuaiyun.com/zouxy09/article/details/8537620