转 读“京东图计算系统JoyGraph”

文章来源：

http://www.souzhinan.com/kj/255651.html

知识图谱的知识存储可以认为包括图计算系统和图数据库。图计算系统主要包含各类图算法，图数据库则是用于三元组的存储。典型的例子就是janusgraph存储rdf，graphx做图计算。通过上述分解，可以看出两个系统的关注点一个在分布式计算，一个在分布式存储。因此，相关的系统设计和改造需要分两类考虑。

另外，从数据库应用场景进行分析，对着事务和分析，即OLTP、OLAP有：

• 图数据库：主要用于联机事务图的持久化技术，通常直接实时地被应用程序访问，和常见的联机事务处理（online transactional processing, OLTP）数据库是一样的。
• 图计算引擎：主要用于离线图分析技术，通常按照一些列步骤执行，它们可以和其他大数据分析技术看作一类，比如数据挖掘和联机事务分析（online analytical processing，OLAP）。

 

图计算系统的设计本质是高性能的并行计算：

高性能

1. 要解决的问题
2. 算法设计
3. 用来运行算法的框架
4. 用来运行框架的硬件

图计算带来的挑战：

• 计算量encoded再图结构中（纯静态graph partition效果差）
• 图结构无规律（很难拿partition graph，造成load imbalance）
• 局部性差（难以利用cache，频繁访存）
• 数据访问/计算ratio高（频繁访存）

待续....