61、可视化潜在语义空间与图矩阵转换研究

可视化潜在语义空间与图矩阵转换研究

潜在语义空间可视化

潜在语义空间是分析大型文本语料库的重要工具，但解释潜在语义空间具有挑战性，可视化的可扩展性和非专家的可访问性是主要设计难题。

奇异值分解与维度选择

通过奇异值分解（SVD），矩阵 $A$ 可分解为 $A = U \Sigma V^T$，其中 $\Sigma$ 是对角矩阵，其对角元素为矩阵的“奇异值”，$U$ 和 $V$ 的列分别为右奇异向量和左奇异向量。取前 $k$ 个奇异值以及 $U$ 和 $V$ 中对应的行和列，可得到 $A$ 的 $k$ 秩近似。这样，$U$ 中的词向量可以用 $k$ 维表示，而非每个文档。$k$ 的选择取决于任务和内容，通常通过经验调整。使用 L - 方法，发现对于特定语料库，$k = 5$ 维就足够了。

界面设计

界面由以下四个部分组成：
1. 层次聚类散点图 ：
- 聚类层次构建 ：使用凝聚层次聚类，基于欧几里得距离和质心链接。每个数据点初始化为一个单独的“簇”，每次迭代合并簇间距离最小的一对簇，直到所有点合并为一个簇，形成一个树状结构（用树状图表示）。
- 簇的可视化 ：通过绘制簇中各点的凸包来保留簇的形状，簇的颜色映射到其基数（颜色越深，包含的点越多），质心用红色绘制。如果簇中的数据点（单词）很少，可以单独检查每个点。
- 簇的扩展 ：双击一个簇进行扩展，为避免杂乱，采用“最小可显示质心距离”启发式方法。设置该距离为 30 像素，扩展簇时，散点图会重新缩放以