Deep Learning 学习笔记2：深度前馈网络（一）

最新推荐文章于 2025-05-13 15:48:10 发布

原创

最新推荐文章于 2025-05-13 15:48:10 发布 · 719 阅读

4 ·

CC 4.0 BY-SA版权

深度前馈网络（deep feedforward network）是一种典型的深度学习模型，也称为前馈神经网络或多层感知机。它通过多层函数复合形成有向无环图，以近似目标函数。在解决XOR问题的示例中，线性模型无法直接表示，而通过加入非线性激活函数如整流线性单元ReLU，网络能够学习到合适的表示以解决非线性问题。通过梯度下降等优化算法，深度前馈网络能学习到使误差最小的参数，实现对复杂函数的逼近。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

深度前馈网络(deep feedforward network)，也叫做前馈神经网络(feedforward neural network)，或者多层感知机(multilayer perceptron, MLP)，是典型的深度学习模型。基本上所有的深度学习算法的过程都可以定义为：数据集的输入→求代价函数→最优化处理→得到模型。前馈网络也类似：该网络的目标是获得一个算法过程近似某个函数f*。以线性回归为例，通过对一系列 $y=f^{*}(x)$ 的真实映射进行处理，需要定义一个新的映射 $y=f(x,\theta )$ ,并且对θ值进行优化，使得该映射能够得到最佳的函数近似。

这种模型被称作向前，是因为信息流过x，并流经定义为f的算法计算过程，最终达到输出y,输出结果y并没有与模型本身f进行反馈连接，即该网络是单向传递的。如果当前的网络包含了反馈连接时，就被称作循环神经网络。

前馈神经网络被称作网络，是因为它们通常用多个函数复合在一起来表示，该函数过程形成一个有向无环图。比如我们有多个函数在一个链上形成 $f(x)=f^{n}(...f^{(3)}(f^{(2)}(f^{(1)}(x))))$ 的结构, $f^{(1)}$ 被称作第一层， $f^{(2 )}$ 被称作第二层，以此类推。链的全长被称为深度。前馈网络的最后一层称为输出层，在神经网络训练的过程中，我们让 $f(x)$ 去匹配 $f^{_{*}}(x)$ 的值。训练数据为我们提供了在不同训练点上的取值的、含有噪声的 $f^{_{*}}(x)$ 的近似实例。每个样例x都伴随着一个标签 $y\approx f^{*}(x)$ 。训练样例直接指明了输出层在每一点x上必须做什么；它必须产生一个接近真实y的值。但是训练数据集并没有告诉每一层该怎样做，算法必须决定如何使用每一层来实现最终尽可能接近真实 $f^{_{*}}(x)$ 的值。这些没有被具体算法定义的层就叫做隐藏层。

这些网络被称为神经网络来源于神经科学的启发。网络中每个层都是向量值的。这些隐藏层的维数决定了模型的宽度。向量的每个元素都可以被视为起到类似一个神经元的作用。除了将层想象成向量到向量的单个函数，也可以把层想象为由许多并行操作的单元组成。，每个单元表示为一个向量到一个标量的函数。每个单元在某种意义上类似一个神经元，它接收的输入来自于其他许多的神经元，并且计算它自己的激活值。