个人对sparse在神经网络学习中的一些理解

越来越觉得sparse在学习过程中的重要性了，正是sparse，才导致了有限空间内，可以存储更多的记忆，如果没有saprse，来了模式1，你的记忆存满，来了模式2，你的记忆将被修改。此时你就无法同时记忆模式1和模式2。
同样的道理在一些大脑研究中也是行得通的：脑容量越小，理论来说记忆的也就说。但是具体模式1对应到哪些神经元被激活，个人认为并没有一个固定模式，他们之间只是一个mapping关系，比如让你记忆一条狗，你记忆成了猫，可能猫和够对应的神经元不一样，但是你只是映射关系错了而已，不影响你的记忆。所以具体让那些神经元来表达，应该也是有一定的随机性。在sparse ae中为了得到好的效果，硬是强制加了稀疏的约束。如果模式只有一个，那么稀疏不稀疏完全是没关系的，这个可以用实验证明。
类似dropout、sparse、以及retifier这些东西，本质上还是增加sparse，那么增加了sparse之后会有什么效果？我认为实际上是增加了网络的记忆能力。正如上面说过的，可以记忆多种模式，那么自然多个模式下识别效果必然要好的多。如果只有一个模式，我还是觉得用不用sparse效果都是可以的。
最近做了不少神经网络的东西，越发觉得sparse才是提高网络性能（记忆）的主要方面。当一个网络有了记忆，自然而然的就具备了更强的预测能力。