18、神经网络建模与神经控制过程中的信息处理解析

神经网络建模与神经控制过程中的信息处理解析

1. 神经网络信息特性

在神经网络中，冗余信息可作为信息的预测指标，有助于消除突触延迟。信息的时间依赖性可表示为 $\Delta\mathrm{I} = [1 - \exp(t / \tau_{en})]\mathrm{I} {max}$，其中 $\tau {en}$ 是增强时间常数。当神经动力学经历非老化或非增强（静止）期时，会出现信息老化或增强现象，此静止期对应神经细胞响应中的不应期效应。

神经信息动力学的特性可以通过合适的信息传递函数来描述。将信息函数的时间依赖性表示为 $\mathrm{I}(t)$，其拉普拉斯变换 $\mathrm{I}(s)$ 就是描述神经网络处理器算法变化的信息传递函数。由于退化导致的神经元信息损失可以用信息效率来衡量，其定义为：
[
\mathrm{I} {eff}=\frac{\mathrm{I} {yi}}{\mathrm{I} {yi(max)}}
]
其中，$\mathrm{I} {yi(max)}$ 是系统中最大可用信息，$\mathrm{I}_{yi}$ 是扩展空间中第 $i$ 个子集的可用信息。这种信息效率分布在神经网络的各个部分，即输入部分、输出单元和控制处理器。

2. Jensen - Shannon 散度测度

无序性是指所选变量（如 $Y_i$）相对于指定目标标准 $Y_T$ 的偏差度量。在几何表示中，$Y_T$ 可以用一个向量表示，该向量对应于一个有序区域的中心，在该区域内规定了一定的随机有序程度。参数扩展空间中第 $i$ 次实现的无序性由以下公式给出：