21、神经网络中的信息论应用与信息几何

神经网络中的信息论应用与信息几何

1. 最优权重配置与噪声水平的关系

在神经网络中，当解决方案（相关公式未给出）不存在，即噪声水平 $\sigma$ 大于临界噪声水平 $\sigma_c$ 时，需要通过比较替代极值的值来找到 $L$ 的最大值。此时，$\sigma > \sigma_c$ 意味着特定值最大。

在临界噪声水平 $\sigma_c$ 处，最优权重配置会出现专业化转变：
- 当 $\sigma > \sigma_c$ 时，两个神经元执行相同的规则；
- 当 $\sigma < \sigma_c$ 时，两个神经元开始专业化并执行不同的规则。

这一例子展示了如何使用信息论工具严格量化启发式策略，例如仅在数据噪声较小时进行详细数据拟合，理论能明确告诉我们何时进行专业化操作。

2. 相干特征的检测

2.1 问题描述

假设有两种输入通道 ${x_a^i}$ 和 ${x_b^i}$，分别受到独立高斯噪声源 ${\xi_a^i}$ 和 ${\xi_b^i}$ 的干扰，并分别输入到线性神经元 $y_a: \mathbb{R}^N \to \mathbb{R}$ 和 $y_b: \mathbb{R}^N \to \mathbb{R}$ 中：
- $y_a(x_a) = \sum_{i=1}^{N} w_a^i (x_a^i + \xi_a^i)$，其中 $p(\xi_a^i) = \frac{e^{-(\xi_a^i)^2/2\sigma^2}}{\sigma\sqrt{2\pi}}$
- $y_b(x_b) = \sum_{i=1}^{N} w_b^i (x_b