文本聚类

文本聚类就是要在一堆文档中，找出哪些文档具有较高的相似性，然后可以针对这些相似文档的聚合进行类别划分。本文聚类应用场景：提供大规模文档集进行类别划分并提取公共内容的概括和总览；找到潜在的各个文档间的相似度进行相似度判别、类别修正，以减少浏览相似文档和信息的时间和精力。

通常，聚类分析是针对数值型做计算的，K均值这类基于聚类的算法要求只有数值型变量才能得到距离相似度。对于文本聚类而言，由于不同文本集出现的全部都是文字内容，因此无法直接针对这些文本进行聚类。

实现文本聚类，除了要进行必要的文本数据清洗和预处理外，还有两个前置条件：

• 分词。分词是实现聚类条件的第一个必要步骤，分词之后会得到不同文本集已经分割好的单词(常用的分词方法：最大匹配法、逆向最大匹配法、双向匹配法、最佳匹配法、联想-回溯法)。
• word to vector。也称为文本转向量、词转向量，目的是将不同文本集的单词集合，转换为向量集合，然后通过向量空间模型建立向量矩阵。（常采用向量空间模型来描述文本向量，即将文档作为行，将分词后得到的单词（单词在向量空间模型里面被称为向量）作为列，而矩阵的值则是通过词频统计算法得到的值。这种空间向量模型又称文档特征矩阵。）

完成上述两个基本步骤后，可以基于向量矩阵做文本聚类分析、情感分析、词频统计、相似词频等。

 

转载于:https://www.cnblogs.com/keye/p/8917197.html