20、数据挖掘中的聚类分析与模型评估

数据挖掘中的聚类分析与模型评估

1. 聚类结果的理解与描述

1.1 聚类结果的额外信息

在聚类分析中，除了列出聚类成员外，还可以有额外的信息来帮助理解聚类结果。例如，会列出一个“典型”成员，它可以是该类中“最好的”实例，如从相关资料中选取的优质威士忌；也可以是该聚类中最知名或销量最高的实例。当每个聚类中有大量实例时，随机抽样可能不如精心选择典型实例有意义，但这需要实例的名称具有一定含义。另外，在对商业新闻故事进行聚类时，可以展示典型故事及其标题，因为标题能作为故事的有意义总结。

同时，展示聚类成员的平均特征，即聚类质心，也是理解聚类结果的一种方式。这种方法可应用于任何聚类，但是否有意义取决于数据值本身是否有意义。例如，威士忌的平均特征可能包括色泽（如淡白色）、口感（如甜、顺滑、清淡）等。

1.2 使用监督学习生成聚类描述

为了自动生成聚类描述，可以将无监督学习（聚类）与监督学习相结合，创建聚类的差异描述。具体步骤如下：
1. 标签分配 ：利用聚类分配结果为每个实例标注其所属的聚类标签，将这些标签视为类标签。
2. 运行监督学习算法 ：对标注好的实例集运行监督学习算法，为每个类/聚类生成一个分类器。
3. 提取描述 ：检查分类器的描述，以获得对相应聚类的（希望是）清晰简洁的描述。

以威士忌聚类任务为例，有两种设置分类任务的方式：
- k 类任务 ：设置一个 k 类任务，每个聚类对应一个类。
- k