26、从生物神经元到人工神经网络：原理与应用

从生物神经元到人工神经网络：原理与应用

1. 人工神经网络发展的推动因素

人工神经网络（ANNs）近年来取得了显著的进展，主要得益于以下几个因素：
- 计算能力的提升 ：过去50年里，计算能力大约每2年就翻一番，同时游戏行业刺激了数百万强大GPU卡的生产，而且云平台让每个人都能使用这种强大的计算能力。
- 训练算法的改进 ：虽然与20世纪90年代使用的算法相比只有细微差别，但这些相对较小的调整产生了巨大的积极影响。
- 理论限制的实际影响较小 ：例如，许多人认为ANN训练算法可能会陷入局部最优，但实际上这种情况相当罕见，而且即使陷入局部最优，通常也接近全局最优。
- 资金与进展的良性循环 ：基于ANN的惊人产品经常成为头条新闻，吸引了越来越多的关注和资金，从而带来更多的进展和更出色的产品。

2. 生物神经元

生物神经元主要存在于动物大脑中，其结构包括：
- 细胞体 ：包含细胞核和细胞的大部分复杂成分。
- 树突 ：许多分支状的延伸部分。
- 轴突 ：一条非常长的延伸部分，其长度可能是细胞体的几倍到数万倍。轴突末端会分裂成许多分支，称为终树突，分支末端是微小的突触末端（或简称突触），与其他神经元的树突或细胞体相连。

生物神经元会产生称为动作电位（APs，或简称信号）的短电脉冲，这些脉冲沿着轴突传播，使突触释放称为神经递质的化学信