45、监督模型：二元神经网络与径向基函数网络解析

监督模型：二元神经网络与径向基函数网络解析

1. 相关矩阵与ADAM系统

在二元神经网络领域，Willshaw等人于1969年提出的自适应相关矩阵为一类新型系统奠定了基础。后来，Austin在1987年对其进行了改进，将相关矩阵与N元组处理相结合，形成了分布式联想记忆系统（ADAM）。

1.1 相关矩阵原理

相关矩阵可看作由p条水平线和q条垂直线组成。在训练时，二元输入模式施加于水平线上，期望输出置于垂直线上。若在训练过程中，某一时刻输入线和输出线同时为逻辑1，则在两线交叉点放置一个二元“权重”。训练完成后，未知输入会激活输入为1的那些权重，输出线对所有激活的权重求和，得到的总和即为原始响应。在最初版本中，需要对输出线应用阈值来决定输出是1还是0，这使得这些输出等同于具有二元权重的McCulloch - Pitts神经元。

1.2 ADAM系统的改进

ADAM系统对上述方案进行了一系列修改：
- 输出线的n点操作 ：输出向量中仅允许包含n个1的代码，可通过逐步增加阈值直至输出代码恰好包含n个1来自动调整输出阈值。
- 输入线的N元组处理 ：将输入向量的总位数n划分为x/N个每组N位的组，每个N元组的输入向量被解码为2N条线上的单个1（有些版本使用N到2N条线的更紧凑编码），这样可使相关矩阵输入处可能代码的编码更冗余，有助于防止矩阵饱和。

1.3 ADAM系统的结构与应用

ADAM系统使用了两个相关矩阵，第一个将输入向量转换为一组原型n点代码，第二个将这些代码转换回训练集输入的原型，从而形成一个自联想器，具有良好的抗