18、文本分类与聚类：从词层次结构到文档分组的深入解析

文本分类与聚类：从词层次结构到文档分组的深入解析

在当今信息爆炸的时代，对文本数据进行有效的分类和聚类变得至关重要。无论是在线对话中的主题组织，还是文档集合的自动分组，都需要高效的算法来实现。本文将深入探讨两种重要的文本处理技术：基于共现矩阵的分类法构建及其演化，以及结合本地和通用知识的文档聚类方法。

基于共现矩阵的分类法构建与演化

分类法的构建是理解文本主题层次结构的关键。其过程基于共现矩阵 $C$，主要分为三个步骤：
1. 矩阵归一化 ：对 $C$ 的行进行归一化，使共现矩阵的元素可解释为从每个行术语到列术语集合的流强度。得到的行随机矩阵 $A$ 可自然地解释为表示从术语节点出发的网络流的有向图的邻接矩阵。
2. 节点排序与矩阵重排 ：根据有向图节点的入度（列和）对节点进行排序，并相应地重新排列矩阵 $A$，得到 $P^TAP$。将上三角矩阵置零，得到中间结果 $T’ = ltri(P^TAP)$。
3. 确定唯一父节点 ：通过识别 $T’$ 每行中的最大权重位置，为每个节点确定唯一的父节点。使用 $[·] {max}$ 运算符将每行中除最大值外的所有元素置零，得到最终的分类法 $T = [T’] {max}$。

分类法的演化则关注在时间序列上如何将新的子分类法 $S_{t + 1}$ 与现有的分类法 $T_t$ 相结合。通过定义一个附加运算符 $h : T × S → T$，得到演化方程 $T_{t + 1} = h(T_t, S_{t + 1}, θ)$。其中，参数 $θ$ 表示 $S_{t + 1}$ 与