机器学习与智能优化 之 浅层和深层神经网络

要点

基于“实物”来创造人工智能一直是人工神经网络研究的问题。多层感知器神经网络（MLPs）是由仅在邻接层前向内连的sigmoid单元组成的自由（无参）模型结构。一个识别你姥姥出现在一张照片上的概率的单元在我们大脑中的硬件结构（别吃惊）就是一个MLP网络。梯度下降法的变种是训练标注样本的有效手段，“误差反向传播”使它流行起来。尽管梯度下降法作为优化方法有其薄弱的地方，但这无法阻止其实际应用的成功。

深度神经网络由很多层组成，通过从初期的无监督准备阶段到最终的用少量标注样本调优组成的适当的学习过程，它也变得高效（并且比支持向量机更好）起来。

在提高泛化能力的方法中，在训练过程中添加可控数量的噪声是有效的（noisy auto-encoders，random dropout）。如果你感到大脑里有一些噪音和疑惑，放轻松，它们可都是好东西呦。

人类和人工学习的体系惊人地相似。特别地，在训练的时候费心费力在泛化能力上就有回报了。一位严苛的老师（多样的测试问题，板书，让你做笔记而不是提交简化材料）让你在学习的时候头疼，但能让你在人生的其他阶段脑力大增。