6、无监督学习神经网络详解

无监督学习神经网络详解

在机器学习领域，无监督学习神经网络是一个非常重要的研究方向。它具有独特的学习机制和应用场景，下面将详细介绍几种常见的无监督学习神经网络及其学习规则。

1. 无监督学习神经网络概述

无监督学习神经网络能够将输入模式映射到关联的目标模式，其公式表示为 (f_{NN}: R^I \to R^K)。它的一个显著特点是可以在新信息到来时保留旧信息，这与监督学习神经网络不同，监督学习网络在有新数据时往往需要重新训练所有信息，否则容易只关注新信息而忘记已学内容。

2. 赫布学习规则（Hebbian Learning Rule）

赫布学习规则是最古老且最简单的学习规则，由神经心理学家赫布提出。该规则基于神经元激活值的相关性来调整权重值，其核心思想源于赫布的假设：一个神经元的激发能力取决于它促使与之相连的其他神经元激发的能力，在这种情况下，两个相关神经元之间的权重会增强。

• 权重更新公式

  • 时间步 (t) 时权重的变化为 (\Delta u_{ki}(t) = \eta o_{k,p} z_{i,p})。
  • 权重更新公式为 (u_{ki}(t) = u_{ki}(t - 1) + \Delta u_{ki}(t))，其中 (\eta) 是学习率。

• 赫布学习算法（Algorithm 4.1）

Initia