2、神经网络计算能力与分层网络特性解析

神经网络计算能力与分层网络特性解析

1. McCulloch–Pitts神经元的通用性

1.1 数字机器的简化

有限数字机器只能处理实数的有限精度表示，例如将圆周率 $\pi$ 表示为 3.141592653589793238462643。这些有限精度的实数表示可进一步转化为整数，而每个整数又能表示为二进制数（布尔字符串），如 1239 可表示为 $(10011010111)_2$。

因此，有限数字机器可看作是将有限维二进制输入向量 $S \in \mathcal{S} \subseteq {0, 1}^N$ 映射到有限维二进制输出向量 $S’ \in {0, 1}^K$ 的设备。对于确定性机器，给定相同的输入数据，其输出总是相同的。所以，每个有限确定性数字机器都可以通过指定每个可能输入向量 $S \in \mathcal{S}$ 的输出向量 $S’(S)$ 来完全确定，即通过指定映射 $M$：
$M: \mathcal{S} \to {0, 1}^K$
$MS = S’(S) \quad \forall S \in \mathcal{S}$

最后，可以构造 $K$ 个独立的子机器 $M_{\ell} (\ell = 1, \ldots, K)$，每个子机器负责完整映射 $M$ 的 $K$ 个输出位之一：
$M_{\ell}: \mathcal{S} \to {0, 1}$
$M_{\ell}S = S’_{\ell}(S) \quad \forall S \in \mathcal{S}$

1.2 简化为三个基本操作

为了实现上述简化，首先将输入向量集合 $\mathcal