20、无监督学习：Hebbian学习与竞争学习解析

无监督学习：Hebbian学习与竞争学习解析

1. 无监督Hebbian学习

1.1 主成分分析网络

在主成分分析网络中，输出单元之间的侧向连接采用了 $\phi’$-Hebbian 学习。从单元 1 出发的侧向连接 1/21，通过特定规则试图使其与 $V_1$ 去相关，这与 Sanger 规则的效果非常相似，最终网络能够按顺序提取前 $M$ 个主成分。尽管侧向权重最终会趋于零，但为了保证网络对波动的稳定性，这些连接仍然是必要的。

1.2 自组织特征提取

1.2.1 特征提取的目标与选择性定义

Hebbian 学习被广泛应用于构建特征检测器，特别是在输入为二维像素阵列或“视网膜”的网络中。每个输出单元期望对特定的输入模式最为敏感，不同的输出单元选择不同的输入模式。为了衡量输出单元的选择性，我们可以使用以下公式：
[
\text{Selectivity} = 1 - \frac{\langle O_i \rangle}{\max O_i}
]
其中，$\langle O_i \rangle$ 和 $\max O_i$ 是对所有可能输入的统计值。当输出单元仅对单个输入（或连续情况下的狭窄输入范围）有明显响应时，选择性接近 1；当对所有输入的响应相同时，选择性趋近于 0。

1.2.2 视觉皮层的研究与早期模型

大多数关于特征提取的研究都与视觉皮层相关。实验证据表明，视觉皮层（如区域 17 或 V1）中存在对特定方向的条形或边缘有偏好响应的神经元，这些神经元主要组织成与皮层表面垂直的方向柱。早期的研究认为，整个方向柱结构是在出生后学习形成的，因此早期模型