24、多层感知器（MLP）与感知器（Perceptron）全解析

多层感知器（MLP）与感知器（Perceptron）全解析

1. 多层感知器概述

多层感知器（MLP）作为一种深度学习算法，由Rumelhart在1982年发明，它让神经网络的研究从低谷中复苏。MLP的架构包含三层：输入层、隐藏层和输出层，即在输入层和输出层之间增加了一个隐藏层。

MLP的应用范围广泛，适用于各种回归任务以及分类任务。其优点在于对噪声有较高的容忍度，具备出色的泛化性能；缺点则是训练所需时间过长。

MLP也有一些改进的变体：
- 典型的变体是在梯度下降中加入动量项来优化权重。
- 若将MLP应用于时间序列预测，它会接收在时间序列数据上滑动的窗口作为输入，这种版本被称为时间延迟神经网络（TDNN）。
- 卷积神经网络（CNN）也属于MLP的变体，它在MLP的基础上增加了特征提取部分。其他变体还可以通过修改标准MLP的学习过程和架构来获得。

2. 感知器详解

2.1 感知器架构

感知器由Rosenblatt在20世纪50年代发明，最初只有输入层和输出层两层。1982年，Rumelhart通过添加隐藏层将其扩展为MLP。
- 输入层 ：初始输入向量假设为一个d维向量 $\mathbf{x} = [x_1, x_2, \cdots, x_d]$。输入层的作用是将输入向量直接传递到下一层。第i个输入节点可表示为 $I_i = x_i$，由于输入节点的值就是输入值本身，所以通常省略输入节点的符号 $I_i$，直接用 $x_i$ 表示输入值。
- 输出层 ：每个输出节点都与所有输入节点相连