
sparkGraph
数据的星辰大海
简单地做自己,踏实的做事情
展开
-
spark的outerjoinvertices简介
一、outerjoinvertices的介绍graphx中的基本结构,其中有vertex 和edgevertex:包括点和属性,也就是类似于(id, attr)edge:包括原点, 目标点, 边属性,类似于(src, dst, attr)outerjoinvertices是对顶点进行的操作,所以不涉及边outerjoinvertices:这个操作会把关联上的定点的属性给重新赋值,所以这样join的话就有点leftjoin的感觉 def outerJoinVertices[U: Class原创 2020-08-12 19:41:58 · 713 阅读 · 0 评论 -
sparkGraph的 aggregateMessage函数介绍
一、aggregateMessage函数aggregateMessage函数有两个大操作,一个是sendMsg,一个是mergeMsg。aggregateMessages函数其对象是三元组。sendMsg是将三元组的属性信息进行转发,mergeMsg是将sendMsg转发的内容进行聚合。sendMsg函数以EdgeContex作为输入参数,没返回值,提供两个消息的函数sendToSrc:将Msg类型的消息发送给源节点sendToDst:将Msg类型消息发送给目的节点。通俗理解:即以边为对象,向原创 2020-08-10 17:11:41 · 678 阅读 · 0 评论 -
sparkGraph的pregel
本文是为了加强s理解park的pergel算法![在这里插入图片描述](https://img-blog.csdnimg.cn/20200809180931188.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTU0NTY1,size_16,color_FFFFFF,t_70**一:Spark GraphX Pregel:*原创 2020-08-09 21:54:36 · 310 阅读 · 0 评论