本文探讨了Spark中弹性分布式数据集（RDD）的概念及其在内存中的存储方式，旨在提高迭代和交互操作效率。同时，深入分析了在reduceByKey操作中出现的数据倾斜问题，并提出了一种解决方案：通过在shuffle前增加map操作来临时改变key，均衡节点负载。
1、弹性分布式数据集(RDD)：如下图所示，对于Spark而言，每次MR完成，会将结果存在分布式内存当中，从而节省在IO上花费的时间
迭代操作
交互操作
2、处理数据倾斜
现象：reduceBykey的时候，由于很多key是相同的，所以无论节点开启的是多少，总会有那么几台节点机器的压力非常大
解决方法：通过在shuffle环节之前，增加一个map操作，将上面的key暂时改变
2、Spark基础知识学习
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
