本文探讨了窄依赖和宽依赖的概念，前者指一个父RDD的partition只能被子RDD的partition使用一次，而后者则会被使用多次。同时，介绍了coalesce和repartition的区别，前者用于减少分组，后者用于提高并行度。
窄依赖：一个父RDD的partition的RDD只能被子RDD的partition最多使用一次
宽依赖：一个父RDD的partition的RDD会被子RDD的partition使用多次
coalesce vs repartition
coalesce:用来减少分组
repartition：提高并行度
计数器
用来计数的
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
