26、神经网络的感知机、MLP与训练基础

神经网络的感知机、MLP与训练基础

1. MLP对逻辑表达式的建模

MLP（多层感知机）能够对任意数量变量的逻辑表达式进行建模。以逻辑异或（XOR）为例，我们可以通过构建感知机来实现其各个项，再将这些项进行逻辑或运算得到最终的MLP。

1.1 感知机实现逻辑项

• 对于 $\overline{x_0}x_1$ 和 $x_0\overline{x_1}$ 这两个逻辑项，可以分别用感知机实现。
• 实现 $x_0\overline{x_1}$ 的感知机可以参考图7.15b。

1.2 构建最终的MLP

将各个逻辑项对应的感知机输出进行逻辑或运算，得到逻辑异或的MLP，如图7.15c所示。以下是PyTorch代码实现MLP的示例：

def MLP(X, W0, W1, b0, b1):
    # Multi-Layered perceptron
    y0 = fully_connected_layer(X=X, W=W0, b=b0)
    return fully_connected_layer(X=y0, W=W1, b=b1)

2. Cybenko通用逼近定理

2.1 定理内容

任何在区间 $x \in (a, b)$ 内连续的函数 $y = f(x)$ 都可以用该区间内的一组塔（垂直矩形）来逼近。这是微积分中积分中值定理的直接结果。

2.2 定理的几何直观

如图7.16所示