机器学习从入门到精通系列之BP神经网络理论知识详解

01 | 背景

 

我们已经知道单层感知器具有简单的分类功能（比如将二维平面上的若干点分为两类），而且随着网络层数的增加，网络处理复杂问题的能力也随之增加。但是从单层感知器模型提出后，在相当长的一段时间内都没有人将单层感知器扩展到多层，究其原因，就是人们一直没有找到合适的训练方法来对各层之间的权值进行调整。直到1986年，Rumelhart 和McCelland领导的科学家小组才对多层感知器的误差反向传播（error back propagation,简称BP）算法进行了详尽的分析，将神经网络扩展到了多层。由于多层感知器的训练通常使用BP算法，所以这种多层感知器也叫做BP神经网络。

 

02 | BP神经网络的结构

 

以一个三层感知器为例，如下图所示，该网络包含一个输入层，一个隐层，一个输出层。输入向量为X，隐层输出向量为Y，输出层输出向量为O，期望输出向量为d，输入层到隐层之间的权值矩阵用V来表示，隐层到输出层之间的权值矩阵用W来表示。