61、前馈网络函数详解

前馈网络函数详解

1. 线性模型与目标拓展

在回归和分类问题中，线性模型是基于固定非线性基函数 $\varphi_j(x)$ 的线性组合构建的，其形式为：
[y(x, w) = f\left(\sum_{j=1}^{M}w_j\varphi_j(x)\right)]
其中，在分类问题中，$f(\cdot)$ 是非线性激活函数；在回归问题中，$f(\cdot)$ 是恒等函数。我们的目标是扩展这个模型，让基函数 $\varphi_j(x)$ 依赖于参数，并在训练过程中调整这些参数以及系数 ${w_j}$。

神经网络使用的基函数遵循与上述公式相同的形式，即每个基函数本身是输入的线性组合的非线性函数，而线性组合中的系数是自适应参数。

2. 基本神经网络模型构建

2.1 第一层：输入到隐藏单元

首先，构建输入变量 $x_1, \cdots, x_D$ 的 $M$ 个线性组合：
[a_j = \sum_{i=1}^{D}w_{ji}^{(1)}x_i + w_{j0}^{(1)}]
其中，$j = 1, \cdots, M$，上标 $(1)$ 表示这些参数位于网络的第一层。$w_{ji}^{(1)}$ 称为权重，$w_{j0}^{(1)}$ 称为偏置。$a_j$ 被称为激活值。

每个激活值 $a_j$ 接着通过一个可微的非线性激活函数 $h(\cdot)$ 进行变换：
[z_j = h(a_j)]
这些 $z_j$ 对应于基函数的输出，在神经网络中被称为隐藏单元。通常，非线性函数 $h(\cdot)$ 会选择如逻辑 sigmoid 或 “tanh” 这样的 S 型函