超级会员免费看
本文详细介绍了Spark的GraphX组件，包括图的切分方式、数据处理、BSP模型以及GraphX的设计核心。重点讲解了GraphX实例中的转换、结构、聚合和关联操作，如mapVertices、mapEdges、subgraph、joinVertices等。此外，文章还探讨了Pregel模型和PageRank算法的实现。最后，通过集团成员、受益所有人和实际控制人的实战分析，展示了GraphX在图计算领域的应用和调优策略。
文章目录
一.GraphX 介绍
图
图可以用来表达自然连接关系，，比如：社交网络、移动网络、股份关系等等。
主要由点和边组成，是以“图论”为基础抽象表示关联关系。
GraphX
GraphX是一个Spark组件，用于图的计算，引入新的模型来扩展RDD，属性信息包含点和边，扩展一些API，简化图计算。
特点
- 灵活性高，图和集合无缝连接，RDD分布式计算可以做的事情，GraphX也可以完成，有效互相转换，运用Pregel 编写自定义迭代计算。
- 速度快，可以跟Spark很好的结合。
- 算法多，除了高度灵活的API之外，GraphX还提供了各种图形算法，其中许多都是由我们的用户提供的。PageRank，Pregel，连接组件，标签传播，SVD ++，强大的连接组件以及三角计数等。
二.GraphX 实现分析
2.1 图的切分方式
图切分总体来说点切分和边切分。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-WfSBrXi2-1610178854719)(https://uploader.shimo.im/f/wenHedj3o8eytPeS.png!thumbn
订阅专栏 解锁全文
扫一扫
2768
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
