19、无监督赫布学习：原理、规则与应用

无监督赫布学习：原理、规则与应用

1. 无监督学习概述

无监督学习中没有“教师”提供反馈，网络需要自主发现输入数据中的模式、特征、规律、相关性或类别，并在输出中对其进行编码，这要求网络单元和连接具备一定的自组织能力。

1.1 数据冗余的重要性

无监督学习发挥作用的前提是输入数据存在冗余。若数据无冗余，就难以从中找出模式或特征，数据可能看似随机噪声。从技术角度讲，输入数据流的实际信息含量必须小于同一通道（相同输入线路、相同速率）所能承载的最大信息含量，差值即为冗余，冗余为学习提供了知识。

1.2 无监督学习网络输出的可能表示

无监督学习网络的输出可能有以下几种表示：
1. 熟悉度 ：单个连续值输出可表明新输入模式与过去典型或平均模式的相似程度，网络会逐渐学习到典型模式。
2. 主成分分析 ：将上述情况扩展到多个单元，需构建多分量基或轴集，用于衡量与先前示例的相似度。统计学中常用的主成分分析方法，会使用输入模式相关矩阵的前导特征向量方向。
3. 聚类 ：一组二进制值输出（每次仅一个为 1）可指示输入模式所属的类别，网络需根据输入模式的相关性找出合适的类别，将相似或相邻模式的聚类归为单个输出类。
4. 原型化 ：网络可能像聚类那样形成类别，然后输出合适类别的原型或示例，具有联想记忆功能，且记忆直接从输入模式中获取。
5. 编码 ：输出可以是输入的编码版本，用更少的比特保留尽可能多的相关信息，可用于在有限