神经网络（一）：Perceptron

一、定义

   将神经网络看作一种自适应机器后可给出定义：
  神经网络是由简单处理单元（神经元）构成的大规模并行分布式处理器，天然地具有存储经验知识和使之可用的特性。神经网络在两个方面与大脑相似：

1. 神经网络是通过学习过程从外界环境中获取知识的；
2. 互连神经元的连接强度，即突触权值，用于存储获取的知识。
                  ——《神经网络与机器学习》 [加] Simon Haykin

  神经网络中最基本的成分是神经元（neuron）模型，在生物神经网络中，每个神经元与其他神经元相连，当它受到刺激兴奋时，就会向相连的神经元发送化学物质，从而改变这些神经元内的电位；当接受传递的神经元电位超过一个“阈值”时，它将会被激活，进而向与其相连的神经元发送化学物质。

二、MP模型

  上述情形被McCulloch & Pitts抽象为“M-P神经元模型”，如图所示，神经元接收到来自n个其他神经元传递过来的输入信号，这些信号通过代权重的连接进行传递，神经元接收到的总输入值将于其阈值进行比较，然后通过“激活函数”处理以产生神经元的输出。

激活函数：

  激活函数（activation function）是神经元中重要的组成部分，可用来加入一些非线性的因素，其种类繁多，部分形式见下图：

详情见维基百科：https://