9、人工神经网络：原理、拓扑与应用

人工神经网络：原理、拓扑与应用

1. 多项式神经元与异或问题

在布尔运算中，异或（XOR）是一个简单的模 2 加法操作。当我们在笛卡尔平面上考虑顶点为 (0, 0)、(0, 1)、(1, 1) 和 (1, 0) 的正方形，且用 (x_1 \oplus x_2) 标记 ((x_1, x_2)) 时，会发现对角线上的一对顶点标记为 0，另一对对角线上的顶点标记为 1。显然，无法插入一条直线使得标记为 1 的点在直线一侧，标记为 0 的点在直线另一侧。也就是说，不存在 (w_1)、(w_2) 和 (\theta) 使得 (w_1x_1 + w_2x_2 \geq \theta) 当且仅当 (x_1 \oplus x_2 = 1)。然而，我们可以使用一个多项式神经元来实现异或运算，当 (w_1 = w_2 = 1)，(w_{12} = 2) 时，(x_1 + x_2 - 2x_1x_2 = x_1 \oplus x_2)。这展示了多项式神经元在处理复杂布尔运算时的强大能力。

2. 径向基函数（RBFs）

2.1 模式识别的传统方法

假设模式空间可以划分为“聚类”，每个聚类对应一个单一类别，模式向量很可能属于该类别。我们可以通过将模式空间划分为由超平面界定的区域来解决模式识别问题，每个超平面对应一个阈值神经元。通过将每个神经元连接到一个与门（AND gate），我们得到一个网络，该网络可以判断一个模式是否落在近似聚类的多边形空间内。再将所有这些与门连接到一个或门（OR gate），最终得到一个网络，该网络可以判断模式是否（近似）属于给定类别的任何聚类。

2.2 径向基函数的原理

另一种方法是使用径向基函数（RBFs）。