6、云环境下网络性能感知的大规模图分区技术

云环境下网络性能感知的大规模图分区技术

1. 引言

近年来，众多应用将数据建模为图或网络，如社交网络、网页图和蛋白质 - 蛋白质相互作用网络等。大规模图数据的高效处理给先进的数据管理系统带来了新挑战，主要体现在以下几点：
- 图数据结构复杂，无法高效存储为关系表。
- 大规模图处理的访问模式复杂，导致磁盘访问或网络通信效率低下。
- 为解决可扩展性问题，图处理需在网络环境中高效分布。

研究人员积极提出创新解决方案，尤其是利用云技术的方法。本文旨在介绍大规模图处理的典型应用、现有的基于云的图处理平台，并着重阐述网络性能感知的数据分区方法，以解决云环境中网络带宽不均的问题。

2. 大规模图的应用

大规模图在数据密集型应用中广泛出现，以下是一些典型示例：
- 社交网络 ：节点通常代表用户，边代表用户间的关系（如友谊）。如今有许多大规模社交网络，如2012年Facebook的社交网络包含10亿个节点和超过1000亿条边，Yahoo!贡献的最大公共社交网络包含超过10亿个节点，2013年第一季度LinkedIn的社交网络包含近2.18亿个节点，FlockDB项目管理的社交图包含超过130亿条边。社交网络分析是热门研究课题，包括识别和搜索用户社区、估计网络的直径和半径等，还发现了小世界现象。此外，确定社交网络用户的两跳或三跳朋友列表以及组织活动也是社交网络的应用。
- 网页图 ：节点代表网页，边代表超链接。Google估计有超过1万亿个网页，截至2013年6月，索引网页至少有46亿个。用于实验的网页图包含超过200亿个网页和1600亿个超链接。