spark 通过打散热点key解决数据倾斜问题

最新推荐文章于 2025-05-29 09:47:39 发布

原创最新推荐文章于 2025-05-29 09:47:39 发布 · 4.6k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#spark #热点key #数据倾斜

spark 专栏收录该内容

43 篇文章

订阅专栏

本文介绍了一种在Spark中处理热点key数据倾斜的方法，并通过一个实际案例演示如何通过打散热点key并重新聚合来优化计算过程，从而提高任务运行效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

项目github地址：bitcarmanlee easy-algorithm-interview-and-practice
欢迎大家star，留言，一起学习进步

1.热点key的数据倾斜

在大数据相关的统计与处理中，热点key造成的数据倾斜非常常见也非常讨厌，经常会造成job运行时间变长或者造成job的OOM最后导致任务失败。例如在wordcount任务中，如果有一个word是热点词，出现的次数很多，那么最后这个job的运行时间就是由这个热点词所在的task运行时间决定的。因此遇到这种热点问题，我们需要想办法改进代码，优化任务，提高最终的运行效率。

2.实际case

现在有这么一个简单的实际例子：
hdfs上有一个名为"xxx"的路径，此路径下的数据量比较大，有几百G之多。现在我们想统计一下这个路径下所有文件的行数。
如果数据量不大，在spark-shell中，可以用一行简单的代码解决问题：

scala> sc.textFile("xxx").count()

但是数据量大了以后，运行的速度很慢很慢，慢到不可接受；而且最后程序会报OOM退出，得不到最终的结果。那怎么办呢？

3.通过将热点key打算做计算

我们将上述需求稍微做一下转型：
统计所有数据的行数，假设每一行对应的一个key就是"all",每一行的输出是"all, 1"，最后需要做的就是简单的wordcount，针对all这个热点key，然后求和！
这种我们明确知道热点key是啥的case，一般的做法是将热点key先打散，然后再聚回来！
直接上代码：

    def linestats(sc: SparkContext) = {
        val inputpath = "xxx"
        sc.textFile(inputpath)
            .map(x => {
                val randomNum = (new java.util.Random).nextInt(2000)
                val allkey = randomNum + "_all"
                (allkey, 1)
            })
            .reduceByKey((x, y) => x + y)
            .map(x => {
                val (keywithrandom, num) = (x._1, x._2)
                val key = StringUtils.split(keywithrandom, "_")(1)
                (key, num.toLong)
            })
            .reduceByKey((x, y) => x + y)
            .map(x => "%s\t%s".format(x._1, x._2))
            .repartition(1)
    }

上面代码的思路如下：
1.第一步先将key打算，给所有"all"加上一个随机前缀。
2.然后对带有随机前缀的key做第一次聚合，即reduceByKey操作，得出第一次聚合的结果。
3.再将随机前缀去掉，做第二次聚合，即reduceByKey操作，得到最终的结果！