16、神经网络学习规则与训练加速解析

神经网络学习规则与训练加速解析

1. 学习规则概述

在神经网络中，不同的学习规则对于网络的训练和性能有着至关重要的影响。下面将详细介绍几种常见的学习规则。

1.1 邻域更新策略

在某些策略的不太极端的变体中，相邻神经元的权重也会被更新。这里需要选择一种“几何结构”来定义这些相邻神经元。例如，假设神经元组以二维数组排列：
- 线性邻域 ：同一行或同一列中一定距离内的所有神经元。若距离为 2，则每侧的两个神经元的权重也会更新。
- 六边形邻域 ：平面内各个方向上一定距离内的神经元。例如，平面上距离某个神经元两个六边形远的神经元，对应 17 个相邻神经元，它们的权重也会更新。

Kohonen 还提出了一种名为“墨西哥帽”的规则变体，通过定义一个邻域函数并将其作为乘数来实现。这种学习方式可用于确定网络输入的统计特性，在模式识别中，竞争学习通常适合作为规律性检测器。

1.2 外星规则（Outstar rule）

Steven Grossberg 提出了“内星（instar）”和“外星（outstar）”的概念来描述实际神经元的行为：
- 内星 ：指从网络中许多其他神经元接收（树突）输入的神经元。内星训练是无监督的，通过调整连接权重以匹配输入向量，可使用 Kohonen 规则实现。当使用特定输入向量时，内星神经元会触发。
- 外星 ：指向网络中许多其他神经元发送（轴突）输出的神经元，连接突触会修改这个输出。外星训练是有监督的，当它触发时会产生一个期望的