一、定义
将神经网络看作一种自适应机器后可给出定义:
神经网络是由简单处理单元(神经元)构成的大规模并行分布式处理器,天然地具有存储经验知识和使之可用的特性。神经网络在两个方面与大脑相似:
- 神经网络是通过学习过程从外界环境中获取知识的;
- 互连神经元的连接强度,即突触权值,用于存储获取的知识。
——《神经网络与机器学习》 [加] Simon Haykin
神经网络中最基本的成分是神经元(neuron)模型,在生物神经网络中,每个神经元与其他神经元相连,当它受到刺激兴奋时,就会向相连的神经元发送化学物质,从而改变这些神经元内的电位;当接受传递的神经元电位超过一个“阈值”时,它将会被激活,进而向与其相连的神经元发送化学物质。
二、MP模型
上述情形被McCulloch & Pitts抽象为“M-P神经元模型”,如图所示,神经元接收到来自n个其他神经元传递过来的输入信号,这些信号通过代权重的连接进行传递,神经元接收到的总输入值将于其阈值进行比较,然后通过“激活函数”处理以产生神经元的输出。
激活函数:
激活函数(activation function)是神经元中重要的组成部分,可用来加入一些非线性的因素,其种类繁多,部分形式见下图:
详情见维基百科:https://