使用 GraphX 进行图处理
1. 使用 GraphX API 构建图
GraphX 中的 Graph 类是主要的图表示类,它提供了对顶点和边的访问以及各种图转换操作。在 Spark 中,顶点和边分别由 VertexRDD 和 EdgeRDD 实现:
- VertexRDD :包含由长整型的顶点 ID 和任意类型的属性对象组成的元组。
- EdgeRDD :包含 Edge 对象,每个 Edge 对象由源顶点 ID、目标顶点 ID 和任意类型的属性对象组成。
以下是使用 GraphX API 构建图的步骤:
1. 导入所需类 :
import org.apache.spark.graphx._
- 定义节点属性类 :
case class Person(name:String, age:Int)
- 构建顶点和边的 RDD :
val ve
超级会员免费看
订阅专栏 解锁全文

被折叠的 条评论
为什么被折叠?



