4、图处理平台与路径搜索算法详解

图处理平台与路径搜索算法详解

1. 图处理平台与处理考量

图分析处理具有结构驱动、全局聚焦和难以解析等独特计算特性。在选择图处理平台时，存在是纵向扩展还是横向扩展的争论。纵向扩展可使用强大的多核、大内存机器，注重高效的数据结构和多线程算法；横向扩展则需在分布式处理框架和相关算法上进行投资。

一种有用的评估方法是“超越单线程的配置（COST）”，它能比较系统的可扩展性和引入的开销。其核心概念是，配置良好的系统结合优化的算法和数据结构，性能可能超越当前通用的横向扩展解决方案，且该方法能衡量性能提升，避免奖励那些通过并行化掩盖低效的系统。

图平台的实现方法包括高度集成的解决方案，可优化算法、处理和内存检索，使其更紧密地协同工作。

在数据处理方面，不同的图数据处理方法考虑了图结构中固有的数据依赖关系：
- 以节点为中心 ：将节点作为处理单元，节点积累和计算状态，并通过消息与邻居节点通信，利用提供的转换函数更直接地实现每个算法。
- 以关系为中心 ：与以节点为中心的模型有相似之处，但在子图和顺序分析中可能表现更好。
- 以图为中心 ：子图内的节点独立处理，与其他子图的通信通过消息进行。
- 以遍历为中心 ：遍历者在图中导航时积累数据作为计算方式。
- 以算法为中心 ：针对每个算法使用各种方法进行优化实现，是上述模型的混合。

Pregel是由谷歌创建的以节点为中心、容错的并行处理框架，基于批量同步并行（BSP）模型。