14、分布式联想记忆系统：原理、学习规则与性能分析

分布式联想记忆系统：原理、学习规则与性能分析

1. 联想记忆系统概述

联想记忆系统旨在存储成对项目之间的关联，并在给定一个项目作为线索时，尝试回忆出与之关联的另一个项目。为实现这一目标，我们构建了一个简单的连接主义网络，它由输入处理单元组、输出处理单元组以及这两组单元之间的可修改连接组成。

2. 网络架构

2.1 处理单元

输入单元和输出单元可被视为数字集合，每个数字代表一个单元的属性（如内部活动水平），整个数字集合代表一组单元的模式（如输入单元组的活动模式）。为方便表示，我们将这些数字集合表示为向量。

线性代数为探索分布式联想记忆和其他连接主义网络的属性提供了紧凑且有用的符号。例如，输入单元 1 的活动可以用数值 $a_1$ 表示，输入单元 2 的活动用 $a_2$ 表示，所有输入单元的活动集合可以表示为向量 $\mathbf{a}$。

在连接主义网络中，任何处理单元都可以用三个数学方程来描述：
- 净输入函数 ：描述处理单元如何计算来自网络中其他处理器的总信号。对于输入单元 $i$，净输入 $net_i$ 等于该输入单元的环境刺激 $e_i$，即 $net_i = e_i$。
- 激活函数 ：确定处理单元如何将输入信号转换为代表其内部活动水平的数字。输入单元的激活函数是恒等函数，即 $a_i = net_i$。
- 输出函数 ：定义处理器的内部活动水平如何转换为可以通过连接发送到网络中其他处理器的数字信号。输入单元的输出函数也是恒等函数，即 $o_i = a_i$。