求每个分区的最大值

DearNingning

于 2021-06-02 17:44:43 发布

阅读量441

点赞数

分类专栏： Spark 文章标签： spark 大数据

本文链接：https://blog.youkuaiyun.com/DearNingning/article/details/117476756

版权

Spark 专栏收录该内容

12 篇文章

订阅专栏

import Utils.SparkUtils
import org.apache.spark.SparkContext
import org.apache.spark.rdd.RDD

object MapMaxDemo {
  def main(args: Array[String]): Unit = {
   val sc: SparkContext = SparkUtils.getSparkContext()
    val rdd1: RDD[Int] =sc.makeRDD(List(1,2,3,4),2)
    val  maxs: RDD[Int] =rdd1.mapPartitions(mp=>{
      val max: Int =mp.max
      val res: Iterator[Int] =Array(max).toIterator
      res
    })
    maxs.foreach(println)
    sc.stop()

  }

}