30、一种用于改进文本聚类技术的新型加权方案

一种用于改进文本聚类技术的新型加权方案

1. 引言

在当今的文本分析领域，如何将大量的文本信息以易于访问的形式呈现，即如何将文档分组展示，是一个关键问题。互联网网页和大多数高级应用程序都包含着海量的文本信息，用户希望这些信息能够整齐有序。文本聚类作为一种高效的无监督学习技术，可用于将大量文档划分为若干子集，且无需预先知晓分组数量。该技术在文本挖掘领域有广泛应用，如数据聚类、疾病检测与聚类、开源聚类软件、文本信息检索、搜索引擎结果聚类、时间序列聚类和无线传感器聚类等。

然而，文本分析技术面临诸多挑战，尤其是在文本聚类领域，文本中存在大量的信息特征和无信息特征。这些无信息特征会误导聚类算法，降低其性能。为解决这一问题，研究中通过根据影响权重值的因素为每个术语或特征赋予合适的权重，相对解决了无信息特征的问题。文本特征的分类会影响文本聚类过程的有效性和性能，无信息特征是不必要、不相关且有噪声的特征，因此聚类方法需要强大的决策技术来改进聚类过程。

文本聚类是一种无监督学习技术，它不会将数据的类别标签信息提供给聚类算法，而是自行在数据集中寻找未知的类别标签信息。这意味着只有从文本中选择的特定术语才能用于识别文档集合中的文本。术语加权方案用于确定每个特征或术语在文档集合中的重要性，并根据一些因素为其分配权重，如词频、文档频率、集合中的术语数量等。文档聚类利用术语加权方案计算每个文档与所有聚类中心之间的相似度。目前有许多加权方案，但没有一种是专门针对文本聚类问题的。

近年来，许多研究人员提出了各种文本聚类方法来解决文本聚类过程中遇到的困难。局部搜索是一种强大的聚类技术，可轻松生成文档聚类子集，使用该技术可以使信息查看更方便，节省用户时间。

一般来说，文本聚