超级会员免费看
本文探讨了Spark中分区的重要性，旨在减少网络流量并优化基于键的转换。分区确保相同键的元组在同一机器上处理，通过散列或范围方式分配。文章提供了代码示例，展示了如何在工作节点间分配数据，并强调了分区在提高执行速度中的作用。
原文: https://www.edureka.co/blog/demystifying-partitioning-in-spark
供稿人：Prithviraj Bose
Spark的 弹性分布式数据集 （编程抽象）被懒惰地评估，Transform被存储为有向无环图（DAG）。因此，RDD上的每个操作都将使Spark重新计算DAG。
订阅专栏 解锁全文
扫一扫
1万+
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
