70、多层神经网络串行解缠学习与用例场景检测的研究进展

多层神经网络串行解缠学习与用例场景检测的研究进展

多层神经网络串行解缠学习

在多层神经网络的研究中，为了更好地解释和优化网络，研究者提出了串行解缠学习的方法。

1. 相关公式与参数

补全潜力 $\overline{g}$ 可以转换为相应的修改形式：
$\overline{h} {jk}^{(2,3)} = \theta_1 \left( 1 - \frac{u {jk}^{(2,3)}}{\max_{j’k’} u_{j’k’}^{(2,3)}} \right) + \theta_3 \theta_2$

这里引入参数 $\theta_3$ 是为了消除零潜力。除了用于增加权重强度的参数 $\theta_1$ 外，其他参数应取较小的值。

2. 去层次解缠过程

为了解释多层神经网络，需要将其压缩为最简单的形式。具体步骤如下：
- 首先，压缩从第一层到第二层（记为 $(1, 2)$）以及从第二层到第三层（记为 $(2, 3)$）的连接权重，得到第一层到第三层的压缩权重 $(1, 3)$，公式为：
$w_{ik}^{(1,3)} = \sum_{j=1}^{n_2} w_{ij}^{(1,2)} w_{jk}^{(2,3)}$
- 接着，将这些压缩权重与从第三层到第四层（记为 $(3, 4)$）的权重相结合，得到第一层到第四层的压缩权重 $(1, 4)$，公式为：
$w_{ik}^{(1,4)} = \sum_{k=1}^{n_3} w_{ik}^{(1,3)} w_{kl}^{(3,4)}$
- 重复上述过程，最终得到第一层到第六层的压缩权