Spark 求最大值最小值

最新推荐文章于 2023-07-17 15:36:26 发布

原创最新推荐文章于 2023-07-17 15:36:26 发布 · 1.9k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#spark #scala

大数据专栏收录该内容

2 篇文章

订阅专栏

本文介绍了一种使用Apache Spark来计算数据集中的最大值和最小值的方法。通过定义一个函数maxMinValues，该函数接收一个包含整数对的RDD，并返回一个包含最大值和最小值的元组。首先从文本文件加载数据，然后将每行数据转换为键值对，接着按键分组并对每个组的数据进行迭代以找到最大值和最小值。

SPARK求最大值最小值

  def maxMinValues: RDD[(Int,Int)] ={
    val sc = SparkUtil.sparkLocal()
    sc.setLogLevel("DEBUG")
    val data = sc.textFile("",1)
    val num =data.flatMap{line=>
      line.split(",")
    }.filter(x=>x.trim().length>0).map(x=>("key",x.toInt))
    num.groupByKey()
      .map{line=>
    var maxValue:Int = Integer.MAX_VALUE
    var minValue:Int = Integer.MIN_VALUE
    for(x<-line._2) {
      if (x>maxValue){
        maxValue = x
      }
      if(x<minValue){
        minValue=x
      }
    }
        (maxValue,minValue)
    }