8、人工神经元模型全解析

人工神经元模型全解析

1. 麦卡洛克 - 皮茨神经元

麦卡洛克 - 皮茨神经元是在离散时间尺度上运行的。每个输入都有一个关联的权重 (w_i)，并且神经元有一个阈值 (\theta)。在时间 (t + 1) 时，如果在时间 (t) 其输入的加权值至少为 (\theta)，神经元就会“激发”。以下是不同功能神经元的权重和阈值设置：
| 功能 | 描述 |
| ---- | ---- |
| AND 门 | 当 (x_1) 和 (x_2) 都激发时，输出才激发 |
| OR 门 | 当 (x_1) 或 (x_2) 或两者都激发时，输出激发 |
| NOT 门 | 当 (x_1) 不激发时，输出激发 |

2. 霍普菲尔德网络

霍普菲尔德在 1982 年的工作极大地推动了 80 年代神经网络研究的复兴。他将能量函数与网络关联起来，表明如果每次只有一个神经元改变状态（即异步更新），一个对称连接的网络会稳定到能量的局部最小值，并且许多优化问题可以映射到对称神经网络的能量函数上。

霍普菲尔德网络具有以下特点：
- 对称权重：(w_{ij} = w_{ji})，且无自连接（(w_{ii} = 0)）。
- 异步更新：在每个时间步，随机选择一个单元。如果选择了单元 (i)，当且仅当 (\sum_{j} w_{ij}s_j \geq \theta_i) 时，(s_i) 取值为 1，否则 (s_i) 设为 0。

霍普菲尔德为这样的网络定义了能量 (E)，它不是神经网络的物理能量，而是一个数学量，类似于牛顿力学中的势能对机械系统的作用。每次异步更新时，能量变化 (\Delta E \leq