本文介绍如何在Spark环境中配置GraphFrame，并使用它来计算图的连通分量。主要内容包括安装GraphFrame、下载并配置jar包以及设置checkpoint目录等步骤。
环境配置
1. pin install graphframe
2. 下载graphframe的jar包：https://spark-packages.org/package/graphframes/graphframes
下载后的jar包复制进docker镜像里的pyspark/jars里：
3. 将jar包复制进各个worker的jars路径下
模型
使用graphframe计算连通分量，要求先设置setCheckpointdir。
方法：在spark的环境初始化时增加红色框中的语句：
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
