Ingress：从静态图分析到动态图分析

原创

已于 2022-02-25 15:23:00 修改 · 902 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#图计算 #大数据

于 2022-02-18 11:19:51 首次发布

Ingress是一个自动增量图处理框架，旨在处理动态大规模图数据，避免静态图处理系统的重新计算开销。通过消息差异驱动机制，Ingress根据图数据变化自动调整计算结果，同时提供了多种消息记录引擎以适应不同图分析算法，减少了内存开销和用户设计复杂性的需求。

本文介绍 GraphScope 团队与东北大学张岩峰教授团队的学术合作项目，可以高效处理动态大规模图数据的自动增量图分析框架 Ingress。该成果论文 Automating Incremental Graph Processing with Flexible Memoization[1] 发表于 VLDB’2021。

背景

随着图数据的迅速增长，对处理大规模图数据的需求也不断增加，也涌现了各种分布式图处理系统，如 Pregel、PowerGraph、GeminiGraph、GraphScope等。但这些分布式图处理系统大多数基于静态图设计，主要用于分析一些大规模静态图数据。而现实生活中，图数据不仅规模巨大，而且不断发生变化，例如下图的场景中，常发生一些点或者边的增加和删除。