4、神经网络模型基础

神经网络模型基础

1. 网络节点

1.1 神经元与突触

神经元有多种类型，它们的交互方式也各不相同。神经元具有输出和输入途径，通过这些途径它们相互影响。

1.1.1 脉冲神经元

脉冲神经元能够产生称为脉冲或动作电位的电脉冲。这些脉冲可以沿着神经元的轴突传播，轴突是从细胞体生长出来的细长分支结构，其长度可以从几毫米到几十厘米不等，这使得神经元之间能够进行短距离和长距离的交互。

神经元通过突触相互连接。在突触处，一个神经元（突触前神经元）的轴突与另一个神经元（突触后神经元）的树突相遇。轴突是输出途径，而树突是输入途径。当突触前神经元轴突上的脉冲到达化学突触时，会导致化学物质（神经递质）的释放，这些神经递质可以兴奋或抑制突触后神经元，即通过改变神经元的电位来促进或抑制脉冲的产生。

脉冲神经元会跟踪在短时间窗口内到达的兴奋和抑制输入。当兴奋和抑制输入的平衡超过阈值时，就会产生脉冲。神经元的活动通常用脉冲频率来表示，大多数神经元的脉冲频率生理上限为几百赫兹。

神经元对输入的变化通常呈非线性响应，即固定步长增加输入并不一定会使输出以相同的量增加。

1.1.2 非脉冲神经元及其他交互方式

非脉冲神经元对其他神经元的影响持续依赖于其电位，例如通过神经递质释放速率的持续变化。此外，神经元之间的交互方式也不仅仅局限于化学突触，还可以通过电突触（间隙连接）进行交互，这种方式允许神经元交换电流，从而改变彼此的电位而无需产生脉冲。电突触常见于无脊椎动物的神经系统或脊椎动物的感觉器官中，最近在哺乳动物的皮层中也有发现。神经元还可以通过向细胞外液释放相对长效的物质（神经调节剂）来