69、机器学习中的无监督学习与神经网络技术

机器学习中的无监督学习与神经网络技术

一、无监督学习技术

1.1 聚类算法

在机器学习中，聚类是一种无监督学习任务，旨在将相似的实例分组在一起。相似性的概念取决于具体任务，例如在某些情况下，相邻的实例会被视为相似，而在其他情况下，只要实例属于同一个密集群体，即使它们相距较远也会被视为相似。常见的聚类算法包括 K-Means、DBSCAN、凝聚聚类、BIRCH、Mean-Shift、亲和传播和谱聚类。

聚类算法的主要应用包括数据分析、客户细分、推荐系统、搜索引擎、图像分割、半监督学习、降维、异常检测和新奇检测。

1.2 选择聚类数量

• 肘部法则 ：使用 K-Means 时，可通过绘制惯性（每个实例到其最近质心的均方距离）与聚类数量的函数关系图，找到曲线中惯性不再快速下降的点（即“肘部”），该点通常接近最优聚类数量。
• 轮廓分数法 ：绘制轮廓分数与聚类数量的函数关系图，通常会出现一个峰值，最优聚类数量通常在峰值附近。轮廓分数是所有实例的平均轮廓系数，该系数从 +1（实例完全位于其聚类内部且远离其他聚类）到 -1（实例非常接近另一个聚类）不等。还可以绘制轮廓图进行更深入的分析。

1.3 标签传播

标记数据集既昂贵又耗时，因此通常有大量未标记实例和少量标记实例。标签传播是一种将标记实例的部分（或全部）标签复制到相似未标记实例的技术，这可以大大增加标记实例的数量，从而使监督算法达到更好的性能，属于半监督学习的一种形式。具体做法是先使用聚类算法（如 K-Means）对所有实例进行