3、神经网络基础：从生物神经元到深度学习网络

神经网络基础：从生物神经元到深度学习网络

1. 生物神经元

生物神经元是神经系统的基本组成单位，主要由树突（dendrites）、轴突（axon）和细胞体（body - cell）构成，突触（synapse）则是一个神经元的轴突与另一个神经元的树突之间的连接。各部分功能如下：
- 树突 ：作为传输通道，收集来自其他神经元轴突的信息。当信号通过轴突到达末端时，会产生一些化学物质 (x_i)，这些化学物质会释放到突触间隙，以不同强度作用于下一个神经元的树突，连接强度由权重系统 (w_i) 描述。
- 细胞体 ：收集树突传来的所有信号。树突的活动会累加形成总电位，当达到一定阈值时，神经元会通过轴突发射信号。阈值取决于神经元的敏感性。
- 轴突 ：是信号传播的通道。信号表现为离子从细胞体向轴突末端的移动，并以电化学方式传递到下一个神经元的树突。

神经元的简化模型如下：
输入信息 (x_i) 与权重 (w_i) 相乘，每个树突为细胞体提供电位 (x_iw_i)，细胞体将这些电位累加为 (\sum_{i = 1}^{n}x_iw_i) 并与阈值 (b) 比较：
- 若 (\sum_{i = 1}^{n}x_iw_i>b)，神经元通过轴突发射信号，(y = 1)；
- 若 (\sum_{i = 1}^{n}x_iw_i\leq b)，神经元不发射信号，(y = 0)。

这可以等价表示为 (y=\phi_b(\sum_{i = 1}^{n}x_iw_i)=\phi_0(\sum_{i = 1}^{n}x_iw_i -