spark——比较map和mapPartitions

本文探讨了Spark中的map和mapPartitions操作。mapPartitions的优势在于每个task只执行一次function,处理整个partition的数据,提高性能,但可能引发OOM问题。相反,map操作每次处理一条数据,即使内存紧张也能及时释放,避免OOM。在实际项目中,需根据RDD大小和executor内存资源评估是否使用mapPartitions以优化性能。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Spark中,最基本的原则,就是每个task处理一个RDD的partition。


MapPartitions操作的优点:
如果是普通的map,比如一个partition中有1万条数据;ok,那么你的function要执行和计算1万次。
但是,使用MapPartitions操作之后,一个task仅仅会执行一次function,function一次接收所有 的partition数
据。只要执行一次就可以了,性能比较高。
MapPartitions的缺点:可能会OOM
如果是普通的map操作,一次function的执行就处理一条数据;那么如果内存不够用的情况下, 比如处理了1千条
数据了,那么这个时候内存不够了,那么就可以将已经处理完的1千条数据从 内存里面垃圾回收掉,或者用其他方
法,腾出空间来。
所以说普通的map操作通常不会导致内存的OOM异常。
在项目中,自己先去估算一下RDD的数据量,以及每个partition的量,还有自己分配给每个executor 的内存资
源。看看一下子内存容纳所有的partition数据,行不行。如果行,可以试一下,能跑通就好。 性能肯定是有提升
的。

//map和partition的区别:
scala> val rdd2 = rdd1.mapPartitions(_.map(_*10))
rdd2: org.apache.spark.rdd.RDD[Int] = MapPartitionsRDD[1] ...
scala> rdd2.collect
res1: Array[Int] = Array(10, 20, 30, 40, 50, 60, 70)
scala> rdd1.map(_ * 10).collect
res3: Array[Int] = Array(10, 20, 30, 40, 50, 60, 70)
介绍mapPartition和map的区别,引出下面的内容:
mapPartitionsWithIndex
val func = (index: Int, iter: Iterator[(Int)]) => {
iter.toList.map(x => "[partID:" + index + ", val: " + x + "]").iterator
}
val rdd1 = sc.parallelize(List(1,2,3,4,5,6,7,8,9), 2)
rdd1.mapPartitionsWithIndex(func).collect

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值