62、大数据时代的链接与图挖掘

大数据时代的链接与图挖掘

在大数据时代，图和网络分析在各个领域发挥着至关重要的作用。本文将深入探讨链接预测、社区检测、大数据中的图应用以及相关工具等方面的内容。

1. 链接预测技术的改进

链接预测是图挖掘中的重要任务，有多种方法可对其进行改进。
- Katz 度量改进 ：A.P. Appel 和 L.G. Moyano 指出，可通过在链接中添加反映链接新旧程度的权重来改进 Katz 度量。
- 社区结构信息利用 ：社区结构信息也能用于改进链接预测技术。就像传统数据挖掘中，聚类检测可作为预处理技术一样，一些研究利用社区结构辅助链接预测。
- 符号网络研究 ：符号网络是一个有趣的研究领域，它由正、负链接组成，如朋友与敌人、可信与不可信的对等节点。虽然已有预测链接正负号的方法，但同时预测链接的存在性及其正负号的问题尚未得到解决。

2. 社区检测

社区检测是网络理论中一个重要且丰富的研究领域，旨在将节点按相似性准则分组，以捕捉介观结构并降低原始图的复杂度。

2.1 模块化最大化

许多真实网络除了局部边之外，还存在内部结构。Girvan 和 Newman 提出了一种寻找这些结构的优雅方法，他们定义了模块化 Q 作为目标函数，其表示社区内边的比例减去边随机分配时组内边的比例。

在一个有 n 个节点的网络中，可将节点划分为两个社区，用以下公式表示模块化：
[Q = \frac{1}{4m} \sum_{ij} (A_{ij} - \frac{k_ik_j}