11、神经网络无监督学习算法解析

神经网络无监督学习算法解析

1. 大脑的无监督学习与智能系统构建思路

我们的大脑没有外部监督者，构成大脑的生物神经元采用不同类型的无监督学习方式，具有可塑性，会根据经验发生变化。有证据表明，像海马体这样的神经回路可以调节或影响大脑其他部分、其他神经网络的拓扑结构和神经权重。这意味着在神经网络的更全局层面上也存在学习算法的调节，而不仅仅是在单个神经元层面。

大脑通过进化形成了不同的特征、不同的神经学习速率以及不同的神经回路，这些回路相互影响和调节。虽然我们可以在神经元中引入赫布学习（Hebbian Learning），并创建大型的同质赫布或科霍宁（Kohonen）神经网络，但它们本质上只是聚类网络，缺乏自我意识。要创建真正智能的神经计算系统，我们需要将静态神经元、具有可塑性的神经元以及不同形式的无监督学习算法整合到一个庞大的神经网络中，并且让这些不同部分完美协作，使整个神经网络系统能够真正学习，就像进化而来的生物神经网络一样。

接下来，我们将简要介绍四种特定的无监督学习算法。

2. 赫布学习（Hebbian Learning）

1949 年，唐纳德·赫布（Donald Hebb）提出了一种计算算法来解释大脑中的记忆和计算适应过程，即赫布学习规则。赫布学习是一种模拟神经元可塑性的神经学习算法，在很大程度上已被证实在视觉皮层中存在。赫布指出：“任何两个同时反复活跃的细胞或细胞系统往往会相互‘关联’，使得一个的活动促进另一个的活动”，更简洁地表述为“一起激发的神经元，连接在一起”。

2.1 基本赫布规则

联想学习的基本赫布规则可以表示为：对于神经元 B 中的每个权重 w(i)，我们将值 dw(i) 加