深度学习之神经网络入门（1）——神经网络是什么

一、快速理解神经网络

1.神经网络的生物定义及其在深度学习上的延伸

在生物神经网络中，每个神经元与其他神经元相连，当它兴奋时，就会向相连的神经元发送化学物质，从而改变这些神经元内的电位；如果某神经元的电位超过了一个阈值，那么它就会激活，即兴奋起来。向其他神经元发送化学物质。

最简单的神经元模型：M-P神经元模型

 

                图1

 

由此图可以产生多种理解，最为广泛且推荐的理解是将其理解为复合函数

例：神经元接受输入x，通过带权重w的连接进行传递，将总输入信号与神经元的阈值进行比较，最后通过激活函数处理确定其是否得到激活。

 

对牵扯到的几个定义进行解释：

a.神经元模型

神经元模型是简单单元，图1所示即为神经元模型

b.阈值

阈值，即bias，算式中可将阈值看作固定输入为-1的哑节点对应的连接权重。

c.激活函数

Sigmoid（图2），Relu（图3），Tanh（图4）函数是我们常用的激活函数，而理想中的激活函数是阶跃函数（图5）