GraphX里面的路由表概念-学习笔记

图计算分区与路由
本文介绍了一种基于图计算的数据处理流程,包括创建路由表、生成分区对象vertexPartitions及ShippableVertexPartition等步骤。重点讲解了如何通过EdgeRDD转换为RoutingTableMessage,并最终形成VertexRDDImpl对象。

1.创建路由表:根据EdgeRDD,将每个分区用map函数转换为RoutingTableMessage的一条消息:

消息tuple的结构为:<vid, Int>

vid代表点ID,  int 前0~30位表示边分区的ID,后面31~32表示是否为src/destId


2.根据路由表生成分区对象vertexPartitions。在新分区中,map分区中的每条数据,从RoutingTableMessage解出数据:vid, edge pid, isSrcId/isDstId。这个三个数据项重新封装到三个数据结构中:pid2vid,srcFlags,dstFlags


3.生成ShippableVertexPartition:上面routingTables, 重新封装路由表里的数据结构为:ShippableVertexPartition


4.创建VertexRDDImpl对象new VertexRDDImpl(vertexPartitions)



 
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值