47、文本聚类与跨语言文本分类的技术探索

文本聚类与跨语言文本分类的技术探索

1. 二分图文本聚类中的词加权评估

1.1 研究背景与目标

在文本聚类中，文本表示方案对聚类性能的影响比支持向量机的核函数更为关键。然而，对于基于图的文本聚类，尤其是二分图划分，对词加权方案的比较研究较少。因此，我们聚焦于二分图文本聚类中各种词加权方案的比较，通过对来自不同来源的真实文档数据集进行全面实验评估，并采用多种外部验证指标。

1.2 二分图生成

为应用聚类算法，文档数据集通常用矩阵表示。具体步骤如下：
1. 特征提取 ：从文档中提取独特的内容承载词作为特征，去除停用词和文档频率极端的词，更复杂的技术还会使用支持度或熵进一步过滤词语。
2. 向量表示 ：每个文档在特征空间中表示为一个向量。文档 - 词矩阵 (A) 的非零元素 (A_{ij}) 表示词 (w_j) 在文档 (d_i) 中出现，零元素表示未出现。
3. 二分图构建 ：图 (G = (V, E)) 由顶点集 (V) 和边集 (E) 组成，可存储在邻接矩阵 (M) 中。给定 (n \times m) 的文档 - 词矩阵 (A)，二分图 (G) 的顶点集 (V = V_W \cup V_D)，其中 (V_W) 包含 (m) 个词顶点，(V_D) 包含 (n) 个文档顶点，边集 (E) 仅包含连接不同类型顶点的边，邻接矩阵 (M) 可表示为 (\begin{bmatrix} 0 & A \ A^T & 0 \end{bmatrix})。

1.3 二分图划分