10、无监督学习与集成学习：原理、方法与应用

无监督学习与集成学习：原理、方法与应用

1. 无监督学习概述

无监督学习旨在从无标签的数据中发现模式和结构。在无监督学习中，EM算法是一种高级的数据聚类框架，它包含E步和M步。为简化计算，M步中省略了协方差矩阵的计算过程。M步是更新参数的过程，这些参数用于刻画为聚类定义的连续概率分布，以最大化数据项属于这些聚类的似然性。通常假设每个聚类对应一个正态分布，其均值向量通过对成员取平均来更新，同时协方差矩阵也会更新。此外，我们也考虑为聚类定义各种概率分布，如模糊分布。

1.1 简单聚类算法

简单的数据聚类方法包括AHC算法、k均值算法和分裂算法。这些算法各有特点，适用于不同的数据场景。
- AHC算法 ：自底向上地对数据项进行聚类。
- k均值算法 ：通过迭代更新聚类中心来实现数据聚类。
- 分裂算法 ：自顶向下地对数据项进行聚类。

1.2 自组织神经网络

Kohonen网络是一种无监督神经网络，其变体包括LVQ、半监督版本和SOM。这些网络在特征映射和数据聚类方面具有独特的优势。
- LVQ ：学习向量量化，用于模式识别和数据分类。
- 半监督版本 ：结合有标签和无标签数据进行学习。
- SOM ：自组织映射，能够将高维数据映射到低维空间。

1.3 神经网络变体 - 神经气

神经气是Kohonen网络的一种变体