LLM的神经网络之谜: 神经网络是简单的线性计算加非线形激活的堆叠

关注

原创最新推荐文章于 2026-09-03 10:12:06 发布 799 阅读 AI 写同款· GEO 优化 ›

神经网络、激活函数：ReLU / SiLU / GELU 注意力模块找到了词语之间的关系；激活函数（GELU/SiLU）负责深挖单个词语内部的深层语义，把微弱细腻的语义线索尽可能保住，不让信息粗暴丢失；ReLU 则会粗暴丢掉负数线索，不太适合大模型。阅读详情

揭开大模型的基石：一文读懂前馈神经网络（FFN）与万能逼近定理

在当下这个“AI 无处不在”的时代，大语言模型（LLM）展现出了惊人的理解和生成能力。但如果剥去这些庞大模型的高深外衣，它们最核心的计算基石到底是什么？

答案之一就是——前馈神经网络（Feed-Forward Network, 简称 FFN）。

今天，我们就来拆解这个神秘的黑盒，看看 FFN 到底长什么样，它是如何通过万能逼近定理获得“模拟世间万物”的超能力的。

一、什么是 FFN？它和 MLP 是什么关系？

前馈神经网络（FFN） 的核心特征在于“前馈”二字：网络中的信息只向一个方向单向流动，没有回路或反馈。

很多人在刚接触深度学习时，会把“单个神经元”和“整个网络”搞混。事实上，现代语境下我们讨论的 FFN，绝大多数情况下等同于多层感知机（Multilayer Perceptron, MLP）。

一个标准的 FFN/MLP 是由多个层 串行堆叠（Serial Stacking） 而成的。信息就像流水线上的加工件：

输入层 (Input Layer)： 纯粹的数据入口（占位符），负责接收外部数据 $x$ 。
隐藏层 (Hidden Layer)： 真正的“加工厂”。接收上一层的输出，进行线性加权求和，然后必须经过一次非线性激活函数（如 ReLU、Sigmoid），再将结果传给下一层。
输出层 (Output Layer)： 给出最终的计算结果。

为什么必须要有激活函数？
如果没有激活函数，无论你串行堆叠多少层线性网络，由于矩阵乘法的结合律，它们最终都会“塌缩”成一个单一的线性层（ $y = x(W_1W_2) + (b_1W_2+b_2) = xW_{new} + b_{new}$ ）。只有加入非线性的激活函数，网络才能打破线性束缚，每一层都在前一层扭曲的空间基础上做进一步变形，从而拥有拟合复杂规律的能力。

二、深入大模型：拆解经典的 FFN 公式

在 ChatGPT 等大语言模型底层的 Transformer 架构中，FFN 是一个至关重要的核心模块。学术界最经典的 FFN 公式长这样：

$FFN(x) = \max(0, xW_1 + b_1)W_2 + b_2$

这个看似复杂的公式，其实完美地描述了一个带有单个隐藏层的双层（2-layer）MLP。我们把它像“三明治”一样拆开来看：

第一步：进入隐藏层（特征升维与激活）
对应公式内部： $max(0, xW_1 + b_1)$
输入向量 $x$ 乘以权重矩阵 $W_1$ 并加上偏置 $b_1$ 。在 Transformer 中，这一步通常会将数据的维度大幅拉升（例如从 512 维放大到 2048 维），让模型在一个极其宽广的高维空间里提取特征。紧接着，用 $max⁡(0,...)\max(0, ...)$ 也就是 ReLU 激活函数，为这些特征注入灵魂性的“非线性”。
第二步：到达输出层（特征降维与输出）
对应公式外部： $(第一步的结果)W2+b2(\text{第一步的结果})W_2 + b_2$
将刚才经过激活的高维特征，乘以一个新的权重矩阵 $W_2$ 并加上偏置 $b_2$ ，重新压缩回原来的维度大小（比如缩回 512 维），以便传给模型的下一个模块。

这就是 Transformer 中 FFN 的真实面貌：先升维寻找复杂特征，再降维输出核心信息。

三、 FFN 为什么如此强大？—— 万能逼近定理

为什么仅仅通过这样“升维、激活、降维”的操作，FFN 就能处理极其复杂的语言逻辑？数学家们用万能逼近定理 (Universal Approximation Theorem) 给出了答案。

该定理指出：只要包含至少一个隐藏层，并且隐藏层包含足够多的神经元，使用适当的非线性激活函数的 FFN，就可以以任意精度逼近任何连续函数。

我们可以把这个原理解释为 “搭乐高积木”：
假设我们的目标是描绘一座崎岖的山脉轮廓。

隐藏层 + 激活函数，就像是“积木制造机”。通过升维和 ReLU，网络制造出了各种高度、宽度、折角各不相同的非线性“小积木”（局部特征）。
输出层，则是“拼装工”。它将这些成百上千个小积木，通过线性组合的方式拼凑在一起。只要积木数量足够多（隐藏层维度足够大），拼出来的曲线就能无限贴近那座真实的山脉。

四、进阶思考：为什么最后一层不用激活函数？

你可能会发现 FFN 的公式 $FFN(x) = \max(0, xW_1 + b_1)W_2 + b_2$ 的最后一步，只有线性计算，没有再包裹一层激活函数。

这是极其精妙的有意为之，原因有三：

保护“拼装”结果的完整性： 就像前面提到的，输出层负责把隐藏层造好的“小积木”线性汇总拼成山脉。如果最后强行加一个 ReLU（负数全变 0），就会把山脉在地平线以下的部分一刀切平，丢失好不容易拟合出的复杂形状。
保留无限的输出自由度： 纯线性变换的输出范围是负无穷到正无穷，网络可以根据需要输出任意数值。如果加上激活函数，输出范围就会被强制卡死（比如被 ReLU 卡在大于等于 0），扼杀了模型的表达能力。
为了配合“残差连接” (Residual Connection)： 在 Transformer 中，FFN 的结果最终要加回原始输入上，即 $F ina l = x + FFN (x)$ 。 $FFN (x)$ 的作用是对当前特征进行“修正”。如果想增强某个特征，就输出正数；如果想削弱或抵消某个特征，就必须输出负数。如果不带激活函数，网络既能做加法也能做减法；一旦加了 ReLU，网络就永远只能做加法了。