spark之 map mapPartitions foreach foreachPartition

最新推荐文章于 2025-09-05 15:08:23 发布

weixin_33985679

最新推荐文章于 2025-09-05 15:08:23 发布

阅读量103

点赞数

CC 4.0 BY-SA版权

文章标签：大数据 python

原文链接：https://my.oschina.net/captainliu/blog/787740

本文通过示例代码详细介绍了Apache Spark中map与mapPartitions的主要区别，前者按每条数据进行处理，而后者则按数据分区进行处理。同时对比了foreach与foreachPartition的不同之处。

2019独角兽企业重金招聘Python工程师标准>>>

spark代码中 map 和 mapPartitions 的区别和 foreach 与 foreachPartition 的区别类似前者是一条数据一条数据处理，后者是一个分区一个分区数据处理

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

/**
  * Created by root on 2016/11/14.
  */
object t {

  def main(args: Array[String]): Unit = {
    val aa: SparkContext =   new SparkContext(new SparkConf().setAppName("t").setMaster("local"))
   val bb: RDD[Int] = aa.parallelize(1 to 10)
    bb.foreach(println(_))
    bb.foreachPartition(
      it =>     while (it.hasNext){
        println(it.next())
      }
    )

  val xx: RDD[Int] =  bb.mapPartitions{ x => {
       var result = List[Int]()
           var i = 0
            while(x.hasNext){
             i += x.next()
             }
            result.::(i).iterator
        }}

    xx.cache()
    xx.unpersist()
  xx.foreach(println(_))

  }
}

转载于:https://my.oschina.net/captainliu/blog/787740