25、多层感知机全解析：结构、计算与学习过程

多层感知机全解析：结构、计算与学习过程

1. 多层感知机概述

多层感知机（MLP）是一种重要的神经网络模型，它由输入层、隐藏层和输出层组成。隐藏节点的值可任意设置，其数值由输入值计算得出。从隐藏层到输出层的连接是完整的，每个输出节点的值取决于隐藏节点的值。扩展 MLP 主要有两种方式：增加隐藏节点的数量和添加更多的隐藏层。

2. 输入层

输入层在 MLP 中负责接收输入向量。在设计 MLP 时，输入节点的数量等于输入向量的维度。若输入向量的维度为 d，那么输入节点的数量就是 d，且每个输入节点的值是输入向量的一个元素。

以下是输入层相关的一些符号表示：
- 输入节点的数量记为 d。
- 输入向量记为 $\mathbf{x} = [x_1, x_2, \cdots, x_d]$，每个输入节点记为 $x_i$。
- 训练示例的数量为 N，训练集记为 $Tr = {\mathbf{x}_1, \mathbf{x}_2, \cdots, \mathbf{x}_N}$。

输入层直接与输入向量相连，节点值通过对净输入应用激活函数得到。在输入节点中，激活函数为线性函数，净输入就是输入值本身，即：
$net_i = x_i$

输入节点的值即为 $x_i$。需要注意的是，除了线性函数，也可考虑将 sigmoid 函数或双曲函数作为激活函数应用于输入值。

3. 隐藏层

隐藏层是 MLP 区别于感知机的关键部分，其主要作用是解决非线性问题。假设输入层和隐藏层之间的连接是完整的，每个隐藏节点的值通过对所有输入节点值的净输入应用激活函数来计算。从输入向量转换而