人工神经网络的设计与实现（三） BP神经网络

多层感知机模型

之前说单层的感知机模型不能处理线性不可分问题，多层感知机却可以成功胜任。下面再从异或入手解决问题。图片来源（ 自己动手写神经网络）。

如上图两层的感知机就能完成对XOR问题的正确划分。第一层的上侧是函数：2*p1+2*p2-1，下侧是函数-2*p1-2*p2+3，第二层是函数And就是与操作。可以得出它们对问题的划分如下：

    

即多层感知机把不能一次线性区分的问题分几次来解决，先解决分开解决各个部分再统一解决各个部分。有了这样的思路之后，关于神经网络的研究又开始如火如荼了。

BP神经网络

sigmoid函数

BP(Back Propagation)神经网络也是用的多层感知机模型，训练方法是误差逆传播，就是从输出层计算误差，反向向前传播，逐层修改连接权重的权值。
神经网络用的函数f是sigmoid函数(之前有说过)。

sigmoid函数把