28、自组织映射新变体：关联自组织映射的设计与应用

自组织映射新变体：关联自组织映射的设计与应用

1. 引言

大脑的连接极为复杂，成人脑新皮质中约有 280 亿个神经元，它们之间以及与其他细胞的连接（突触）超过 100 万亿个。然而，人类基因组仅包含约 30 亿个碱基对，这表明大脑皮质并非由基因直接决定，而是通过输入驱动的自组织过程构建的。

自组织过程借助感官输入来调整网络组织，而非预先设定所有连接。大脑皮质中的自组织形式会产生拓扑映射这一特殊属性，即对相似感官输入产生激活的神经元彼此靠近。自组织映射（SOM）就具备自组织和拓扑保存的特性，与大脑映射有诸多相似之处。

不同感官模态之间会相互影响，例如麦格克 - 麦克唐纳效应，当听到的声音与看到的口型不一致时，听觉会受到视觉的影响。这种感官模态间的相互作用对感知的内部模拟也很重要，高等生物能够模拟感知，即大脑可以模仿通常由辅助输入引发的感知过程。

受这些发现的启发，在多模态感知模型中，不同感官模态的子系统应共同发展并相互关联。大脑可能还具备在无输入的情况下，在不同感知子系统中引发持续且合理活动的能力，即内部模拟感知序列的能力。

2. 关联自组织映射（A - SOM）

A - SOM 基于普通 SOM，能找到输入空间的表示，还能将自身活动与（可能延迟的）额外辅助输入相关联。这些辅助输入可以是多个外部 SOM 或 A - SOM 的活动，也可以是 A - SOM 自身的早期活动。

A - SOM 由固定数量神经元组成的网格构成，每个神经元有多个权重集，一个用于主输入，一个用于每个辅助输入。神经元会为主输入和每个辅助输入计算活动。主输入活动的计算方式与普通 SOM 类似，使用点积作为相似度度量，主输入权重的调整也与普通 SOM 相同。辅助活动使用点积计算，并通过 delta 规则调整以接近主活动。神经元的总活动是主活动和辅助活动的平均值。

将 A - SOM 的总活动作为辅助输入反馈给自己并设置时间延迟，A - SOM 就变成了能够学习序列的递归 A - SOM。

形式上，A - SOM 由一个 I × J 的神经元网格组成，每个神经元 nij 关联 r + 1 个权重向量。在时间 t，每个神经元接收 r + 1 个输入向量。主净输入 sij 使用标准余弦度量计算：
[s_{ij}(t) = \frac{x_a(t) \cdot w_a^{ij}(t)}{|x_a(t)||w_a^{ij}(t)|}]
神经元 nij 的活动为：
[y_{ij}(t) = \frac{y_a^{ij}(t) + y_1^{ij}(t) + y_2^{ij}(t) + \cdots + y_r^{ij}(t)}{r + 1}]
其中主活动 (y_a^{ij}) 使用 softmax 函数计算：
[y_a^{ij}(t) = \frac{(s_{ij}(t))^m}{\max_{ij}(s_{ij}(t))^m}]
辅助活动 (y_p^{ij}(t)) 同样使用标准余弦度量计算：
[y_p^{ij}(t) = \frac{x_p(t - d_p) \cdot w_p^{ij}(t)}{|x_p(t - d_p)||w_p^{ij}(t)|}]
选择主激活最强的神经元 c：
[c = \arg \max_{ij}y_a^{ij}(t)]
主输入权重 (w_a^{ijk}) 的调整公式为：
[w_a^{ijk}(t + 1) = w_a^{ijk}(t) + \alpha(t)G_{ijc}(t)(x_{ak}(t) - w_a^{ijk}(t))]
其中 (0 \leq \alpha(t) \leq 1) 是适应强度，邻域函数 (G_{ijc}(t) = e^{-\frac{|r_c - r_{ij}|}{2\sigma^2(t)}}) 是随时间递减的高斯函数。辅助输入权重 (w_p^{ijl}) 的调整公式为：
[w_p^{ijl}(t + 1) = w_p^{ijl}(t) + \beta x_{pl}(t - d_p)(y_a^{ij}(t) - y_p^{ij}(t))]
每次调整后，所有权重都要进行归一化。

3. 建模跨模态期望

3.1 将 A - SOM 与两个辅助 SOM 关联

在这个实验中，将 A - SOM 连接到两个辅助 SOM，并使用一组 10 个样本对三个神经网络进行训练。样本是通过从平面的一个子集随机生成 10 个点，再添加一个常数元素 0.5 映射到三维空间得到的。这样做是为了使基于欧几里得度量的 Voronoi 划分对使用点积度量的 A - SOM 有用。

A - SOM 与两个 SOM（使用与 A - SOM 主激活相同的激活方式）相连，并接收它们的活动作为关联输入。三个网络同时接受训练集样本，训练阶段包含 20000 次迭代。

训练参数设置如下：
|参数|数值|
| ---- | ---- |
|神经元数量|每个网络 15 × 15 个|
|softmax 指数|1000|
|学习率初始值 α(0)|0.1|
|学习率衰减|0.9999|
|最小学习率|0.01|
|邻域半径初始值 σ|15|
|邻域衰减|0.9998|
|A - SOM 关联权重 β|0.35|

训练后，以各种可能的组合向一个、两个或三个表示提供训练集样本进行评估。当表示没有输入时，使用空向量代替。记录 A - SOM 和两个 SOM 的活动中心。

实验结果表明，在训练集上，A - SOM 的识别准确率达到 100%。在泛化测试中，根据输入组合的不同，准确率约为 80 - 90%。普通 SOM 的泛化并不完美，如果能优化参数设置，泛化能力可能会更好。

推测在这种系统中，不同 SOM 和 A - SOM 的输入集可能存在限制。在泛化方面，不同输入空间之间可能需要存在拓扑函数，以确保输入样本序列在各自的 SOM 或 A - SOM 中引发的活动轨迹原则上可以通过平移、旋转、拉伸和扭曲相互映射。

mermaid 流程图如下：

graph LR
    A[生成训练集样本] --> B[训练 A - SOM 和两个 SOM]
    B --> C[评估训练集]
    C --> D[构建泛化测试集]
    D --> E[评估泛化测试集]

3.2 关联触觉子模态的 SOM 表示

使用真实的纹理和硬度传感器进行实验。纹理传感器由电容麦克风和安装在可移动杠杆末端的金属边缘组成，通过伺服移动杠杆使金属边缘在材料上滑动，产生的振动传递给麦克风，信号经过采样、数字化和快速傅里叶变换（FFT）后得到频谱图。硬度传感器由安装在伺服上的棍子组成，通过测量伺服中可变电阻的值来确定材料的压缩程度。

系统使用两个单模态子系统（硬度和纹理），分别开发单模态表示（A - SOM）并相互关联。硬度子系统将硬度传感器的原始输出作为 18 位二进制数输入到 15 × 15 个神经元的 A - SOM 中，纹理子系统将纹理传感器的原始输出经过 FFT 模块转换为包含 2049 个频率的频谱图后输入到另一个 15 × 15 个神经元的 A - SOM 中。

训练参数设置如下：
|参数|数值|
| ---- | ---- |
|邻域半径初始值|15|
|邻域半径衰减|0.998|
|学习率初始值 α(0)|0.1|
|学习率衰减|0.9999|
|关联权重 β|0.35|
|训练迭代次数|2000 次|

实验结果显示，在仅提供主输入时，纹理 A - SOM 能将大多数对象映射到不同位置，但并非完美区分；硬度 A - SOM 能较好地区分不同对象，还能完美区分软硬对象。当一个模态接收输入时，往往能在另一个模态中触发与接收主输入时相似的活动，但仅由辅助输入触发的活动不能完美映射每个样本。

4. 建模内部模拟

4.1 双峰系统

搭建了一个由两个 A - SOM 组成的双峰模型，测试其在无输入情况下，在两个 A - SOM 中继续产生合理活动模式序列的能力。

A - SOM A 是递归 A - SOM，其总活动作为辅助输入反馈给自己，时间延迟为一次迭代。A - SOM B 接收 A - SOM A 的总活动作为辅助输入，无时间延迟。

训练集的构建方式与跨模态期望实验相同，两个 A - SOM 同时接受训练集样本，训练阶段包含 20000 次迭代。

训练参数设置如下：
|参数|数值|
| ---- | ---- |
|神经元数量|每个 A - SOM 15 × 15 个|
|softmax 指数|1000|
|学习率初始值 α(0)|0.1|
|学习率衰减|0.9999|
|最小学习率|0.01|
|邻域半径初始值 σ|15|
|邻域衰减|0.9998|
|关联权重 β|0.35|

训练后，关闭权重调整，再次以相同顺序向两个 A - SOM 提供训练集样本，记录活动中心并计算 Voronoi 划分。在后续 25 个无主输入的时期，记录每个迭代中活动中心是否在正确的 Voronoi 单元中。

结果表明，在前 9 个无主输入的时期，两个 A - SOM 的正确活动模式百分比均为 100%，之后逐渐下降，在第 25 次迭代时，A - SOM A 为 60%，A - SOM B 为 20%。这证实了模型的内部模拟和跨模态激活能力。

mermaid 流程图如下：

graph LR
    A[构建训练集] --> B[训练两个 A - SOM]
    B --> C[评估训练集]
    C --> D[无主输入迭代]
    D --> E[记录正确活动模式百分比]

4.2 递归连接 A - SOM 的更多实验

受 Elman（1990）的启发，进行了三个实验，研究 A - SOM 在其活动作为辅助输入以一次迭代延迟递归连接到自身时的特性、能力和局限性。

在所有实验中，邻域半径初始化为网络大小，邻域半径和学习率都呈指数衰减，训练阶段持续 20000 次迭代。训练数据通过随机重复特定序列生成，测试数据只保留每个序列的第一个字母，其余用空向量代替。

• 不同长度，相同元音 ：训练三个以独特辅音开头，后面跟着一个、两个或三个相同元音的序列。通过验证确定获胜神经元对应的字母，用测试数据进行测试。不同大小的 A - SOM 的状态图显示了网络的活动情况。
• 相同长度，相同元音 ：将序列长度都设置为三个字母，一个辅音和两个相同字母。通过可视化网络的总活动，对网络表示不同状态之间关系的有趣方式进行定性分析。
• 相同长度，独特元音 ：所有序列长度相同，所有元音（序列元素）都不同。目的是找到能以 100% 或接近 100% 正确性表示每个长度序列的最小网络。结果发现，最小网络的节点数与序列总字母数呈指数关系。

实验中为了分析方便，仅使用了获胜神经元的序列，忽略了网络的其他活动。实际上，应该使用整个活动模式，可通过一个单独的 SOM（分析 SOM）对 A - SOM 的活动进行分类，然后使用分析 SOM 的获胜神经元来确定序列是否被学习。

5. 结论

介绍了一种新型的自组织映射变体——关联自组织映射（A - SOM），它能找到输入空间的表示，并将活动与任意数量（可能延迟）的辅助输入相关联。

在多个实验中对 A - SOM 进行了探索，包括将其与两个辅助 SOM 关联、用于触觉子模态的对象识别以及建模内部模拟等。结果表明，A - SOM 在训练集上表现良好，在泛化测试中也有较高的准确率。

从理论上来说，A - SOM 可以有多个将总活动作为辅助输入反馈给自己的连接集，并设置不同的时间延迟，这可能会增强内部模拟和记忆感知序列的能力，但会增加计算量。

与递归 SOM 相比，A - SOM 与递归 SOM 在获胜神经元的选择方式上有所不同。A - SOM 的获胜选择仅取决于输入向量，因此在不考虑序列位置的情况下，递归连接的 A - SOM 在单个输入分类方面可能表现更好。

A - SOM 实际上会开发多个表示，包括主输入表示、每个辅助神经网络的表示以及合并这些表示的总表示。推测大脑皮质中可能存在类似的情况，这些不同的表示可能对应不同的皮质层。

自组织映射新变体：关联自组织映射的设计与应用

6. 关联自组织映射（A - SOM）的优势与潜在应用

A - SOM 具有多方面的优势，使其在多个领域具有潜在的应用价值。

6.1 A - SOM 的优势

• 跨模态关联能力 ：A - SOM 能够将不同感官模态的信息进行关联，这在处理多源信息时具有重要意义。例如在跨模态期望的实验中，A - SOM 可以根据一个模态的输入激活另一个模态的合理活动，这种能力有助于更全面地理解和处理复杂的环境信息。
• 序列学习能力 ：通过将自身活动作为辅助输入进行递归连接，A - SOM 能够学习序列信息。在内部模拟的实验中，A - SOM 可以在无输入的情况下继续产生合理的活动模式序列，这对于模拟感知序列和预测未来事件具有重要作用。
• 拓扑映射特性 ：继承了自组织映射的拓扑映射特性，即对相似输入产生激活的神经元彼此靠近。这使得 A - SOM 能够保留输入空间的拓扑结构，有助于对数据进行聚类和可视化。

6.2 潜在应用领域

• 机器人感知 ：在机器人领域，A - SOM 可以用于整合不同传感器（如视觉、触觉、听觉等）的信息，提高机器人对环境的感知和理解能力。例如，机器人可以通过触觉感知物体的硬度和纹理，同时利用 A - SOM 的跨模态关联能力激活视觉想象，更好地识别和操作物体。
• 认知模拟 ：在认知科学研究中，A - SOM 可以用于模拟大脑的感知和认知过程。通过学习序列信息和跨模态关联，A - SOM 可以模拟大脑内部的感知模拟和预测机制，帮助我们更好地理解大脑的工作原理。
• 数据分析与可视化 ：A - SOM 的拓扑映射特性使其在数据分析和可视化方面具有应用潜力。可以将高维数据映射到二维平面上，通过观察神经元的激活情况进行数据聚类和可视化展示，帮助用户更直观地理解数据的结构和特征。

7. A - SOM 的局限性与改进方向

尽管 A - SOM 具有诸多优势，但也存在一些局限性，需要进一步改进和优化。

7.1 局限性

• 参数调整困难 ：A - SOM 的性能受到多个参数的影响，如学习率、邻域半径、关联权重等。这些参数的调整需要大量的实验和经验，不同的数据集和应用场景可能需要不同的参数设置，这增加了使用 A - SOM 的难度。
• 对训练数据的敏感性 ：实验结果表明，A - SOM 对训练数据比较敏感。在某些情况下，不同的训练数据可能会导致模型性能的显著差异。例如，在相同长度、独特元音的实验中，不同的训练数据可能会使模型无法找到合适的网络大小来表示序列。
• 忽略网络其他活动 ：为了分析方便，实验中仅使用了获胜神经元的序列，忽略了网络的其他活动。实际上，网络的其他活动也包含了重要的信息，忽略这些信息可能会影响模型的性能和对序列的理解。

7.2 改进方向

• 自动化参数调整 ：开发自动化的参数调整算法，根据不同的数据集和应用场景自动选择最优的参数设置。可以使用遗传算法、粒子群算法等优化算法来搜索最优参数。
• 增强数据鲁棒性 ：研究如何提高 A - SOM 对训练数据的鲁棒性，减少数据变化对模型性能的影响。可以采用数据增强、正则化等方法来提高模型的泛化能力。
• 利用网络全量活动 ：使用整个活动模式代替仅使用获胜神经元，通过一个单独的 SOM 对 A - SOM 的活动进行分类，充分利用网络的所有信息，提高模型对序列的理解和学习能力。

8. 总结与展望

关联自组织映射（A - SOM）是一种具有创新性的自组织映射变体，它结合了自组织映射的拓扑映射特性和关联学习能力，在跨模态期望和内部模拟等方面表现出了良好的性能。

在多个实验中，A - SOM 展示了其在训练集上的高准确率和在泛化测试中的较好表现。然而，A - SOM 也存在一些局限性，如参数调整困难、对训练数据敏感等问题。

未来的研究可以朝着自动化参数调整、增强数据鲁棒性和利用网络全量活动等方向发展，以进一步提高 A - SOM 的性能和应用范围。随着技术的不断进步，A - SOM 有望在机器人感知、认知模拟、数据分析等领域发挥更大的作用。

以下是一个总结 A - SOM 实验流程的 mermaid 流程图：

graph LR
    A[确定实验类型] --> B[构建训练集和测试集]
    B --> C[设置训练参数]
    C --> D[训练 A - SOM]
    D --> E[评估训练集]
    E --> F[评估测试集]
    F --> G[分析实验结果]
    G --> H[总结经验与改进方向]

实验类型	实验描述	主要结果
跨模态期望 - 关联两个辅助 SOM	将 A - SOM 与两个辅助 SOM 连接，使用随机生成的样本进行训练和测试	训练集准确率 100%，泛化测试准确率约 80 - 90%
跨模态期望 - 关联触觉子模态	使用真实的纹理和硬度传感器，开发两个单模态 A - SOM 并相互关联	能区分对象和软硬属性，一个模态输入可触发另一个模态相似活动
内部模拟 - 双峰系统	搭建由两个 A - SOM 组成的双峰模型，测试无输入时的序列学习能力	前 9 个无主输入时期正确活动模式百分比 100%，之后逐渐下降
递归连接 A - SOM 的更多实验	进行不同长度、元音组合的序列学习实验	最小网络节点数与序列总字母数呈指数关系