28、信息表示：神经网络中的关键概念解读

信息表示：神经网络中的关键概念解读

1. 信息分隔与分类

在信息处理的场景中，存在一个随机变量 (Z)，它起着重要的分隔作用。例如，它可以作为集合 (A) 与其补集 (A^c) 之间的分隔符。从本质上讲，学习 (Z) 就等同于学习集合 (A) 或者集合 (A^c)。为了更直观地理解，我们可以把随机变量 (Z) 想象成一个分类器，就像在动物园里将动物分为哺乳动物和非哺乳动物一样。

一般情况下，如果目标是一个简单函数 (Z = \sum_{j = 1}^{N} c_j 1_{A_j})，其中 ({A_j}_j) 是样本空间 (\Omega) 的一个划分，且 (c_j \in \mathbb{R})，那么 (Z) 就充当了一个分类器的角色，将数字 (c_j) 作为集合 (A_j) 的标签。目标信息 (Z) 是由集合 ({A_j}_j) 生成的 (\sigma -) 域，并且要求 (A_j \in \mathcal{I})。

2. 可学习目标

在神经网络中，我们关注的是目标 (Z) 能否从输入 (X) 中学习得到，即当 (Z \subset \mathcal{I}) 成立时的情况。如果 (Z) 可从 (X) 学习，根据相关命题，存在一个可测函数 (f: \mathbb{R}^n \to \mathbb{R})，使得 (Z = f(X))。所以，学习 (Z) 实际上就是近似这个可测映射 (f)。这就需要证明神经网络能够作为可测函数 (f \in \mathcal{M}_n) 的通用近似器。

在学习过程中，我们已知的信息有：输入随机变量 (X) 及其分布测度 (\nu)、目标随机变量 (Z) 以及训练测度 (\rho)。而我们要学习的是满足 (Z