25、神经网络基础：从感知机到多层感知机

神经网络基础：从感知机到多层感知机

1. 神经元的逻辑计算

计算可以由相当简单的神经元网络来执行，就像复杂的蚁丘可以由简单蚂蚁的共同努力形成一样。生物神经网络（BNN）的架构仍是活跃的研究课题，但大脑的某些部分已被绘制出来，神经元通常按连续的层组织，特别是在大脑皮层（即大脑的外层）。

McCulloch和Pitts提出了生物神经元的简单模型，即人工神经元。它有一个或多个二进制（开/关）输入和一个二进制输出。当超过一定数量的输入激活时，人工神经元会激活其输出。他们表明，即使使用这样简化的模型，也可以构建一个人工神经元网络来计算任何逻辑命题。

以下是几种执行不同逻辑计算的人工神经网络示例：
- 恒等函数 ：左边第一个网络，如果神经元A被激活，那么神经元C也会被激活（因为它从神经元A接收两个输入信号）；如果神经元A关闭，那么神经元C也关闭。
- 逻辑与 ：第二个网络，只有当神经元A和B都被激活时，神经元C才会被激活（单个输入信号不足以激活神经元C）。
- 逻辑或 ：第三个网络，如果神经元A或B被激活（或两者都被激活），神经元C就会被激活。
- 更复杂的逻辑命题 ：如果假设输入连接可以抑制神经元的活动（生物神经元就是这种情况），那么第四个网络计算一个稍微复杂的逻辑命题：只有当神经元A激活且神经元B关闭时，神经元C才会被激活。如果神经元A一直处于激活状态，就得到一个逻辑非：当神经元B关闭时，神经元C激活，反之亦然。

这些网络可以组合起来计算复杂的逻辑表达式。