李沐 多层感知机 + 代码实现

感知机：
二分类模型，无法处理XOR函数
训练感知机：
初始化w=0，b=0

Repeat：
If yi*[<w,xi>+b]<=0 then
W <- w+yi*xi and b<-b+yi
End if

直到所有的类分类正确
等价于批量大小为1的梯度下降

多层感知机：
单隐藏层-----单分类

h=σ($w_{1}x+b_1$)
o=$w_2^{T}h+b_2$
隐藏层不能使用线性激活函数，需要激活函数σ，按元素做运算
激活函数
sigmoid(x)=$\frac{1}{1+exp(-x)}$
将输入投影到（0，1）

tanh(x)=$\frac{1-exp(-2x)}{1+exp(-2x)}$
将输入投影到（-1，1）

RelU(x)=max(x,0)最常用也是速度最快的

多类分类：
与sooftmax相似

多隐藏层：
$h_1$=σ($w_{1}x+b_1$)
$h_2$=σ($w$