【Spark问题记录】Scala中reduceBykey(func: (V, V) => V)时遇到的漏数据问题

最新推荐文章于 2022-09-08 12:03:53 发布

原创

最新推荐文章于 2022-09-08 12:03:53 发布 · 800 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#scala #reduceByKey #漏算数据

在Scala中使用Spark的reduceByKey时，遇到了数据漏算问题。最初理解reduceByKey为(v1, v2) => v3，即在相同key的value间聚合。实则reduceByKey通过createCombiner、mergeValue和mergeCombiners三个步骤完成，其中在区与区之间聚合时，忽略v2值会导致结果错误。修复方法是在merge过程中对v2._2做判断，确保其正确参与计算。因此，理解reduceByKey的完整执行过程对于避免类似问题至关重要。" 104330429,6376822,集合运算详解：交集与并集概念与求解方法,"['数学', '集合论', '基础数学', '逻辑运算']

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Scala学习中对reduceBykey(func: (V, V) => V)的理解

数据：

编号	性别	身高
1	F	170
2	M	178
3	M	174
…	…	…

要求：分别计算各个性别的最高身高和最低身高
代码如下：

def main(args: Array[String]): Unit = {
   
   
    val conf = new SparkConf().setMaster("local[*]").setAppName("Peopleinfo")
    val sc = new SparkContext(conf)
    val lineRDD = sc.textFile("file:///d:/peopleinfo.txt")
    val man:LongAccumulator = sc.longAccumulator("man")
    val female:LongAccumulator = sc.longAccumulator("female")
    val infoRDD:RDD[(String,(Int,Int))] = lineRDD.map(t => {
   
   
      val fields = t.split