30、神经网络中的信息表示与容量评估

神经网络中的信息表示与容量评估

1. 信息表示基础

在神经网络中，信息的表示和处理是核心问题。以一个没有隐藏层，只有输入和输出层的两层神经网络为例，假设输入维度等于输出维度，即$d(0) = d(1) = n$。权重矩阵记为$W (1) = (w(1) {ij}) {1\leq i,j\leq n}$，偏置向量记为$B(1) = (b(1)_1, \ldots, b(1)_n)^T$，且激活函数$\varphi$是递增的。那么输出可以表示为$X(1) = \varphi (W (1)^T X(0) - B(1))$。当$\det W (1) \neq 0$时，该网络是未压缩的，这大致意味着输出与输入在函数上是独立的。

对于神经网络的层，我们可以通过一些条件来判断其是否压缩。例如，对于第$\ell$层，有以下定理：
- 定理11.8.2（可压缩性条件II） ：
- 条件（i′）：激活函数满足$\varphi’ > 0$；
- 条件（ii′）：第$\ell$层的输入和输出变量数量相同，即$d(\ell - 1) = d(\ell)$；
- 条件（iii′）：$X(\ell)$与$X(\ell - 1)$在函数上独立。
- 当这些条件都满足时，第$\ell$层是未压缩的。
- 定理11.8.3（可压缩性条件III） ：
- 条件（i）：激活函数$\varphi$是可逆的；
- 条件（ii）：第$\ell$层的输出变量数量大于输入变量数量，即$d(\ell) > d(\ell - 1)$；
- 条件（iii）：