18、LAMSTAR神经网络技术详解

LAMSTAR神经网络技术详解

1. 存储调整机制

当合适模块的给定神经元中存储的子词数量超过阈值时，存储会被分割到两个相邻的存储神经元（即设置一个新的相邻神经元），同时 dmax 会相应减小。为了快速调整分辨率，可以利用到输出层的链接权重来进行调整。具体来说，对于产生相对较高 Nij 权重的单元格，其存储可以进行分割（例如分成2个单元格）；而对于输出链接权重较低的单元格，则可以合并到相邻单元格。这种调整可以在某些链接权重随时间相对于其他权重增加或减少时自动或定期进行，同时还会考虑网络的遗忘机制。

2. SOM模块间及到输出模块的链接

在LAMSTAR系统中，信息通过不同SOM模块中单个神经元之间的链接权重 Li,j 进行映射。该系统不会为整个输入词创建神经元，而是以类似关联记忆的方式，仅将选定的子词存储在SOM模块中（ w 权重），并通过创建/调整连接不同SOM模块中神经元的 L 链接（图6.1中的 Li,j ）来存储子词之间的相关性。这使得LAMSTAR网络能够使用部分不完整的数据集进行训练。 L 链接对于模式的插值和外推至关重要，当SOM模型中的一个神经元与输入子词不对应，但与其他模块有高度链接时，它可以作为一个插值估计。

链接权重 L 的设置（更新）规则如下：对于给定的输入词，在确定输入模块 j 中的获胜第 i 个神经元和任何输出或不同输入模块