Spark中的mapPartitions

最新推荐文章于 2024-04-10 22:12:19 发布

原创最新推荐文章于 2024-04-10 22:12:19 发布 · 1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark #iterator #batch #scala #partition

Scala 同时被 2 个专栏收录

4 篇文章

订阅专栏

编程语言

4 篇文章

订阅专栏

在Spark处理中，使用mapPartitions方法可以显著减少对外部服务如JDBC的连接次数，通过一次连接处理整个Partition的数据，有效提升资源利用率并节省成本。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在使用Spark链接到外部服务过程中，比如JDBC等，如果对于RDD中每一条信息建立一个链接，会导致链接数过多，而且在这种情况下，快速且大量的简历链接和释放，会造成比较大的资源浪费。

在这种情况下，特别是如果有batch接口的情况下，通过mapPartitions，对一个Partition中的数据来说，只建立一个链接或者通过这一个链接进行batch请求，会在很大程度上的节约现有的资源，提高资源的利用效率。

在使用mapPartitions之后，每个mapPartions中操作的对象是Rdd中原有对象的一个Iterator。举例如下：

var rdd1 = sc.makeRDD(1 to 5,2)
//rdd1有两个分区
scala> var rdd3 = rdd1.mapPartitions{ x => {
     | var result = List[Int]()
     |     var i = 0
     |     while(x.hasNext){
     |       i += x.next()
     |     }
     |     result.::(i).iterator
     | }}
rdd3: org.apache.spark.rdd.RDD[Int] = MapPartitionsRDD[84] at mapPartitions at :23
 
//rdd3将rdd1中每个分区中的数值累加
scala> rdd3.collect
res65: Array[Int] = Array(3, 12)
scala> rdd3.partitions.size
res66: Int = 2