6、深度前馈网络：现代深度学习的核心

深度前馈网络：现代深度学习的核心

1 引言

深度前馈网络（Deep Feedforward Networks），也常被称为前馈神经网络或多层感知器（MLPs），是典型的深度学习模型。这类模型的目标是近似某个函数 ( f^ )，例如，对于一个分类器，( y = f^ (x) ) 将输入 ( x ) 映射到一个类别 ( y )。前馈网络定义了一个映射 ( y = f(x; \theta) ) 并学习得到最佳函数近似的参数 ( \theta ) 的值。信息通过被评估的函数流动，从输入 ( x ) 开始，通过定义 ( f ) 所用的中间计算，最终到达输出 ( y )。不存在反馈连接，即模型的输出不会被反馈回模型本身。当前馈神经网络扩展到包括反馈连接时，它们被称为循环神经网络（Recurrent Neural Networks, RNNs）。

2 深度前馈网络的重要性

前馈网络对机器学习从业者来说极为重要。它们构成了许多重要商业应用的基础，例如，用于从照片中识别物体的卷积网络（Convolutional Neural Networks, CNNs）就是一种特殊的前馈网络。前馈网络是在通往循环网络的道路上的一个概念性踏脚石，循环网络支撑着许多自然语言处理应用。

3 计算图

为了更精确地描述反向传播算法，使用一种更精确的语言是很有帮助的。这种语言就是计算图。计算图中的每个节点表示一个变量，该变量可能是一个标量、向量、矩阵、张量，甚至可能是其他类型的变量。为了使我们的图表形式化，我们还需要引入操作的概念。操作是单个或多个变量的一个简单函数。我们的图表语言伴随着一组允许的操作。比这组操作更复杂的函数可以通过将许多操作组合在一起的