Deep Learning - 第六章：前馈神经网络

overall

实际应用的深度学习核心：参数化函数近似技术

深度前馈网络

引言

也叫前馈神经网络 或者 多层感知器（MLP），是典型的深度学习模型！
前馈网络的目标：近似某个函数 $f^*$。
前向（feedforward）：是因为信息流过$x$ 的函数，流经用于定义$f$ 的中间计算过程，最终到达输出 $y$；
前馈神经网络被称作网络是因为它们由许多不同函数复合在一起表示，该模型与一个有向无环图相关联（每一个函数节点的输出作为下一个函数节点的输入），组成一层一层的网络节点；

学习算法必须决定如何使用这些层来产生想要的输出，但是训练数据并没有说每个单独的层应该做什么。相反，学习算法必须决定如何使用这些层来最好的实现 $f^*$ 的近似；

最后一层被称为输出层，中间的层被称为隐藏层（hidden layer）。

指正：深度学习里神经网络的结构受到过神经科学观测的指引，这些观测是关于生物神经元计算功能的。
然而现代的神经网络的研究受到的更多的是来自数学和工程学科的指引，并且神经网络的目标并不是给大脑建模；
我们应该把前馈神经网络想象成为了实现泛化统计而设计出的函数近似机器。

类似SVM里面的方法，对于无法进行线性分类的样本，一般采取的方法是对样本特征使用函数$\phi$进行映射得到新的特征，使得新的特征变得线性可分，深度学习的策略就是去学习函数