62、前馈网络函数与网络训练详解

前馈网络函数与网络训练详解

1. 前馈网络的函数逼近能力

前馈网络在函数逼近方面展现出了强大的能力。以一个两层网络为例，它能够对多种不同的函数进行逼近。如图所示，该网络可以逼近包括 (f(x) = x^2)、(f(x) = \sin(x))、(f(x) = |x|) 以及 (f(x) = H(x))（其中 (H(x)) 是 Heaviside 阶跃函数）等不同类型的函数。

具体操作是，在每个例子中，从区间 ((-1, 1)) 均匀采样 (N = 50) 个数据点（用蓝色圆点表示），并计算相应的 (f(x)) 值。这些数据点随后被用于训练一个具有 3 个隐藏单元（采用 ‘tanh’ 激活函数）和线性输出单元的两层网络。训练得到的网络函数用红色曲线表示，而三个隐藏单元的输出则用三条虚线曲线表示。

这个过程展示了两层网络对广泛函数进行建模的能力，同时也说明了各个隐藏单元是如何协同工作以逼近最终函数的。在简单的分类问题中，隐藏单元的作用也能通过特定的合成分类数据集得到体现。

2. 权重空间对称性

前馈网络存在一个重要的性质，即多个不同的权重向量 (w) 选择可能会导致从输入到输出的相同映射函数。考虑一个具有 (M) 个隐藏单元（采用 ‘tanh’ 激活函数且两层均为全连接）的两层网络。

• 符号翻转对称性 ：如果改变输入到某个特定隐藏单元的所有权重和偏置的符号，由于 ‘tanh’ 是奇函数（(\tanh(-a) = -\tanh(a))），该隐藏单元的激活符号会反转。但通过改变从该隐藏单元输出的所有权重的符号，可以完全补偿这种变换，使得网络的输入 - 输出映射函数保持不变。对于