Spark 求最大值最小值

neo0o1

于 2021-05-17 22:11:38 发布

阅读量1.9k

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据文章标签： spark scala

本文链接：https://blog.youkuaiyun.com/neo_lcx/article/details/116951656

大数据专栏收录该内容

2 篇文章

订阅专栏

本文介绍了一种使用Apache Spark来计算数据集中的最大值和最小值的方法。通过定义一个函数maxMinValues，该函数接收一个包含整数对的RDD，并返回一个包含最大值和最小值的元组。首先从文本文件加载数据，然后将每行数据转换为键值对，接着按键分组并对每个组的数据进行迭代以找到最大值和最小值。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

SPARK求最大值最小值

  def maxMinValues: RDD[(Int,Int)] ={
    val sc = SparkUtil.sparkLocal()
    sc.setLogLevel("DEBUG")
    val data = sc.textFile("",1)
    val num =data.flatMap{line=>
      line.split(",")
    }.filter(x=>x.trim().length>0).map(x=>("key",x.toInt))
    num.groupByKey()
      .map{line=>
    var maxValue:Int = Integer.MAX_VALUE
    var minValue:Int = Integer.MIN_VALUE
    for(x<-line._2) {
      if (x>maxValue){
        maxValue = x
      }
      if(x<minValue){
        minValue=x
      }
    }
        (maxValue,minValue)
    }