25、神经网络基础：从感知机到多层感知机

神经网络基础：从感知机到多层感知机

1. 神经元的逻辑计算

简单神经元网络可以进行计算，就像简单蚂蚁共同努力能形成复杂蚁丘一样。生物神经网络（BNNs）的架构仍是研究热点，不过大脑的部分区域已被绘制出来，神经元常按连续层排列，尤其是大脑皮层。

McCulloch和Pitts提出了生物神经元的简单模型，即人工神经元。它有一个或多个二进制（开/关）输入和一个二进制输出。当输入激活数量超过一定值时，人工神经元激活输出。他们证明，用这种简化模型可构建计算任意逻辑命题的人工神经元网络。

以下是几种简单逻辑计算网络：
- 恒等函数网络 ：若神经元A激活，神经元C也激活；若A关闭，C也关闭。
- 逻辑与网络 ：只有当神经元A和B都激活时，神经元C才激活。
- 逻辑或网络 ：只要神经元A或B激活（或两者都激活），神经元C就激活。
- 复杂逻辑命题网络 ：若输入连接能抑制神经元活动，当神经元A激活且B关闭时，神经元C激活。若A一直激活，就得到逻辑非。

这些网络可组合计算复杂逻辑表达式。

2. 感知机

2.1 感知机架构

感知机是最简单的人工神经网络架构之一，由Frank Rosenblatt在1957年发明。它基于阈值逻辑单元（TLU）或线性阈值单元（LTU）。输入和输出是数字，每个输入连接有一个权重。TLU计算输入的加权和（$z = w_1x_1 + w_2x_2 + \cdots + w_nx_n = x^Tw$），然