Spark算子：transformation之randomSplit、glom

最新推荐文章于 2024-11-01 11:33:38 发布

cleargy

最新推荐文章于 2024-11-01 11:33:38 发布

阅读量420

点赞数

分类专栏： scala spark 文章标签： Spark Scala RDD

本文链接：https://blog.youkuaiyun.com/csmnjk/article/details/82786486

版权

scala 同时被 2 个专栏收录

28 篇文章

订阅专栏

spark

26 篇文章

订阅专栏

本文深入解析了Apache Spark中RDD的两种关键操作：randomSplit和glom。通过实例演示了如何使用randomSplit根据权重将一个RDD切分为多个RDD，以及如何使用glom将RDD的每个分区转换为一个数组元素。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、randomSplit：def randomSplit(weights: Array[Double], seed: Long = Utils.random.nextLong): Array[RDD[T]]

该函数根据权重数组weights将一个RDD切分为多个RDD，seed是random种子（可忽略）。

scala> var rdd = sc.makeRDD(1 to 10,10)
rdd: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[16] at makeRDD at :21
 
scala> rdd.collect
res6: Array[Int] = Array(1, 2, 3, 4, 5, 6, 7, 8, 9, 10)  
 
scala> var splitRDD = rdd.randomSplit(Array(1.0,2.0,3.0,4.0))
splitRDD: Array[org.apache.spark.rdd.RDD[Int]] = Array(MapPartitionsRDD[17] at randomSplit at :23, 
MapPartitionsRDD[18] at randomSplit at :23, 
MapPartitionsRDD[19] at randomSplit at :23, 
MapPartitionsRDD[20] at randomSplit at :23)
 
//这里注意：randomSplit的结果是一个RDD数组
scala> splitRDD.size
res8: Int = 4
//由于randomSplit的第一个参数weights中传入的值有4个，因此，就会切分成4个RDD,
//把原来的rdd按照权重1.0,2.0,3.0,4.0，随机划分到这4个RDD中，权重高的RDD，划分到//的几率就大一些。
//注意，权重的总和加起来为1，否则会不正常
 
scala> splitRDD(0).collect
res10: Array[Int] = Array(1, 4)
 
scala> splitRDD(1).collect
res11: Array[Int] = Array(3)                                                    
 
scala> splitRDD(2).collect
res12: Array[Int] = Array(5, 9)
 
scala> splitRDD(3).collect
res13: Array[Int] = Array(2, 6, 7, 8, 10)

2、glom：def glom(): RDD[Array[T]]

该函数将RDD中每一个分区中类型为T的元素转换成Array[T]，这样RDD的每个分区就分别只有一个数组元素。

scala> var rdd = sc.makeRDD(1 to 10,3)
rdd: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[38] at makeRDD at :21
scala> rdd.partitions.size
res33: Int = 3  //该RDD有3个分区
scala> rdd.glom().collect
res35: Array[Array[Int]] = Array(Array(1, 2, 3), Array(4, 5, 6), Array(7, 8, 9, 10))
//glom将每个分区中的元素放到一个数组中，这样，结果就变成了3个数组