图解深度学习的笔记：1.MP模型，感知器，BP下的多层感知器

M-P模型：它是首个通过模仿神经元而成的模型，其中只有两层：输入层x1…xn和输出层y;权值w1…wn。
但是由于M-P的权值只能事先给定，不能自动确定权值，感知器应运而生。
↓
感知器：可以根据有监督学习，自动确定权值。设定训练样本和期望输出，以误差修正方法来调整实际权值。
但感知器只能解决线性可分问题，不能解决线性不可分问题
↓
初期多层感知器被提出来解决线性不可分问题
↓
但是由于误差修正只能针对单层修正，不能跨层修正，初期多层感知器的只能对中间层和输入层之间的参数进行修正，不能对其它层进行误差修正学习，所以后来有了BP（误差反向传播）的多层感知器来改进这点。
↓
BP下的多层感知器。

---

1. M-P模型

1.1 最基础的m-p模型：

 由上图所示，M-P模型由多个输入节点 {x${}_i$|i= 1,2,3…n} 且 x${}_i$= {0,1} 和连接权值 {w${}_i$|i= 1,2,3…n} 组成，对应一个输出节点y。
 整个图可以写做一个公式：

 其中 MP模型里的 激活函数f （我称他为激活函数）是 ：

  以h为阈值，令u${}_i$=∑w${}_i$x${}_i$，y=f(u${}_i$), 当u${}_i$) ≥ h,y=1; 否则,y=0。

 

---

1.2 NOT/ AND/ OR 的m-p模型：

1.2.1 NOT :

 只需要把激活函数的规则改变：
 以h为阈值，令u i _i