入门-神经元模型，感知机与多层网络

M-P模型

1943年，McCulloch and Pitts抽象出了“M-P神经元模型”，神经元接受到来自$n$个其他神经元传递过来的输入信号，通过带权重的值连接传递，神经元接受到的总输入值与神经元的阈值进行比较，通过激活函数（activation function）处理输出。

激活函数

理想中的激活函数如下图所示的阶跃函数，它将输入值映射为输出值0 （对应于神经元抑制）或 1（对应于神经元兴奋）。

但是，阶跃函数在$(0,0)$处出现断点，是非连续函数。

因此，需要找一个近似于阶跃函数的连续函数替代它。

这个函数便是$Sigmoid$函数。如图b所示：