6、深度前馈网络：原理、设计与应用

深度前馈网络：原理、设计与应用

1. 深度前馈网络概述

深度前馈网络，也常被称为前馈神经网络或多层感知机（MLPs），是深度学习的典型模型。其目标是近似某个函数$f^ $，例如在分类器中，$y = f^ (x)$将输入$x$映射到类别$y$。前馈网络定义了一个映射$y = f(x; θ)$，并学习参数$θ$的值，以实现最佳的函数近似。

信息从输入$x$开始，通过用于定义$f$的中间计算，最终流向输出$y$，这种模型被称为前馈网络，因为其中没有将模型输出反馈回自身的反馈连接。当扩展前馈神经网络以包含反馈连接时，它们就被称为循环神经网络。

前馈网络对机器学习从业者极为重要，是许多重要商业应用的基础。例如，用于照片中物体识别的卷积网络就是一种特殊的前馈网络。同时，前馈网络也是通向循环网络的概念性垫脚石，而循环网络为许多自然语言应用提供支持。

前馈神经网络之所以被称为网络，是因为它们通常由许多不同的函数组合而成。该模型与一个有向无环图相关联，该图描述了这些函数是如何组合在一起的。例如，可能有三个函数$f^{(1)}$、$f^{(2)}$和$f^{(3)}$以链式连接，形成$f(x) = f^{(3)}(f^{(2)}(f^{(1)}(x)))$。这种链式结构是神经网络最常用的结构。在这种情况下，$f^{(1)}$被称为网络的第一层，$f^{(2)}$被称为第二层，依此类推。链式的总长度决定了模型的深度，“深度学习”这个名称就源于此。前馈网络的最后一层被称为输出层。

在神经网络训练期间，我们使$f(x)$与$f^ (x)$相匹配。训练数据为我们提供了在不同训练点评估的$f^ (x)$的有噪声的近似示例。每个