26、用于有效聚类的文本光谱分析

用于有效聚类的文本光谱分析

1. 引言

数据挖掘研究大多致力于开发解决特定问题的技术，重点常放在设计在速度或准确性上超越先前技术的算法。然而，知识发现的全面成功不仅仅依赖于数据算法。近年来数据呈指数级增长，缩小算法与用户之间的差距成为知识发现成功的关键因素。

聚类就是一个典型例子。许多聚类算法通常需要设置一些参数，这些参数直接或间接控制着返回的聚类数量。在不同的数据特征和分析背景下，用户很难确定数据集中正确的聚类数量。这就导致设置参数要么需要对数据有详细的先验知识，要么需要耗时的试错过程。对于大型或高维数据集，试错过程效率极低。

某些算法对输入参数的估计要求很高。例如，EM算法在图像分割中，当聚类数量和初始化参数接近真实值时表现良好，但对聚类数量的估计不佳限制了其应用。同样，CLOPE算法参数设置不当会显著增加运行时间。用户往往花费大量时间进行参数调整，而非知识发现，这显然是不可取的。

在文本集合（如网页文档、图像、生物数据等）中，由于数据规模大且维度高，让用户设置聚类数量是一项极具挑战性的任务。因此，本文旨在解决“如何有效估计给定文本集合中的自然聚类数量”这一问题，提出通过分析文本集合相似性空间的特征值（而非特征向量）进行光谱分析的解决方案，并展示该方法如何以用户为中心增强聚类过程。

本文的结构如下：
- 第2节介绍光谱分析的预备知识和基本性质。
- 第3节阐述使用归一化特征值回答上述问题的贡献。
- 第4节讨论将观察结果应用于增强聚类过程的具体示例。
- 第5节展示实证结果，证明提案的可行性。
- 第6节讨论相关工作。
- 第7节总结本文。

2. 预备知识