13、模块化神经网络：原理、应用与自适应构建

模块化神经网络：原理、应用与自适应构建

1. 模块化网络优势

在目标均方误差相对较高（0.007）时，模块化网络的速度提升约为2.5倍。而非模块化网络无法收敛到较低的目标均方误差（0.003），但模块化网络成功达到了这一标准。这显示出模块化网络在处理特定任务时，在速度和精度上具有明显优势。

2. 层次分解

具有多个输入和输出的系统有时可以分解为按层次排列的更简单的多输入多输出模块。较低级模块的输出作为较高级模块的输入。最简单的模块化形式是流水线架构，适用于在处理的不同阶段需要不同类型神经网络模块的任务。

2.1 层次分解示例

• 部分形状匹配问题 ：Yang等人使用两阶段算法解决部分形状匹配问题。每个阶段包含关联网络模块（类似于Hopfield网络）。网络的目标是确定一组模型形状中哪些存在于输入形状中，形状可能重叠、部分遮挡或扭曲。在第一阶段，将每个训练集形状与输入形状进行比较，找到匹配属性，这需要为每个训练形状设置一个关联模块。该层模块的输出衡量输入形状与训练形状之间的相似度。匹配较好的第一阶段模块的结果被输入到第二层模块化网络进行最终决策。这种方法在分析复杂输入形状方面比整体网络表现更好。
• 二维核磁共振（NMR）光谱分析 ：Anand等人开发了一种模块化架构来分析二维NMR光谱，以确定有机大分子的组成。输入系统的是从NMR光谱获得的大矩阵，通常非常稀疏。模块化神经网络中的每个模块检测输入图像中属于一类（氨基酸）的模式的存在。每个模块有两个阶段：第一阶段是执行聚类的特征检测网络，第二阶段是经过标准反向传播训练的前馈神经网络