69、机器学习无监督学习技术与神经网络知识解析

机器学习无监督学习技术与神经网络知识解析

一、无监督学习技术

1.1 聚类算法概述

在机器学习中，聚类是将相似实例分组的无监督任务。相似性的概念取决于具体任务，例如，在某些情况下，两个相邻的实例会被视为相似，而在其他情况下，只要相似的实例属于同一个密集组，即使它们相距较远也会被视为相似。常见的聚类算法包括K-Means、DBSCAN、凝聚聚类、BIRCH、Mean-Shift、亲和传播和谱聚类。

1.2 聚类算法应用

聚类算法的主要应用包括数据分析、客户细分、推荐系统、搜索引擎、图像分割、半监督学习、降维、异常检测和新奇检测。

1.3 选择聚类数量的方法

1.3.1 肘部法则

当使用K-Means时，肘部法则是一种简单的选择聚类数量的技术。具体操作如下：
- 绘制惯性（每个实例到其最近质心的均方距离）与聚类数量的函数关系图。
- 找到曲线中惯性停止快速下降的点（“肘部”），这个点通常接近最优的聚类数量。

1.3.2 轮廓分数法

• 绘制轮廓分数与聚类数量的函数关系图，通常会有一个峰值，最优的聚类数量通常就在峰值附近。
• 轮廓分数是所有实例的平均轮廓系数，该系数从 +1（实例很好地位于其聚类内且远离其他聚类）到 -1（实例非常接近另一个聚类）变化。
• 也可以绘制轮廓图进行更深入的分析。

1.4 标签传播

标记数据集既昂贵又耗时，因此通常有大量未标记的实例，但标记的实例很少。标签传播是一种将标记实例的部分（或全部）标