【Spark学习笔记】5、Java版-算子系列之mapPartitions(f:Iterator[T] => Iterator[U]) : RDD[T] => RDD[U]

最新推荐文章于 2025-01-02 20:52:57 发布

原创最新推荐文章于 2025-01-02 20:52:57 发布 · 501 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#Java #Spark #mapPartitions

Java 同时被 2 个专栏收录

105 篇文章

订阅专栏

Spark

5 篇文章

订阅专栏

本文深入探讨了Spark中mapPartitions操作符的使用方法及其与map操作符的区别。通过具体示例，展示了如何利用mapPartitions处理大量数据，提高处理效率。同时，也提醒了在数据量过大时使用该操作符可能遇到的内存溢出问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

源码

/**
 * Return a new RDD by applying a function to each partition of this RDD.
 *
 * `preservesPartitioning` indicates whether the input function preserves the partitioner, which
 * should be `false` unless this is a pair RDD and the input function doesn't modify the keys.
 */
def mapPartitions[U: ClassTag](
    f: Iterator[T] => Iterator[U],
    preservesPartitioning: Boolean = false): RDD[U] = withScope {
  val cleanedF = sc.clean(f)
  new MapPartitionsRDD(
    this,
    (context: TaskContext, index: Int, iter: Iterator[T]) => cleanedF(iter),
    preservesPartitioning)
}

demo

public class MapPartitionsOperator {

	public static void main(String[] args) {
		SparkConf conf = new SparkConf().setAppName("MapPartitionsOperator").setMaster("local");
		JavaSparkContext sc = new JavaSparkContext(conf);

		List<String> names = Arrays.asList("zhangsan", "lisi", "wangwu");
		JavaRDD<String> nameRDD = sc.parallelize(names);

		final Map<String, Integer> scoreMap = new HashMap<String, Integer>();
		scoreMap.put("zhangsan", 150);
		scoreMap.put("lisi", 100);
		scoreMap.put("wangwu", 90);

		/**
		 * map算子，一次处理一个partition的一条数据！
		 * 
		 * mapParatitions算子，一次处理一个partition中所有的数据！
		 * 
		 * 使用场景
		 * 
		 * 如果RDD数据不是特别多，采用mapPartitions算子代替map算子可以加快处理速度
		 * 
		 * 如果RDD数据过多，不建议使用，容易内存溢出
		 */
		JavaRDD<Integer> scoreRDD = nameRDD.mapPartitions(new FlatMapFunction<Iterator<String>, Integer>() {
			private static final long serialVersionUID = 1L;

			@Override
			public Iterable<Integer> call(Iterator<String> iter) throws Exception {
				List<Integer> list = new ArrayList<Integer>();
				while (iter.hasNext()) {
					String name = iter.next();
					Integer score = scoreMap.get(name);
					list.add(score);
				}
				return list;
			}
		});
		scoreRDD.foreach(new VoidFunction<Integer>() {
			private static final long serialVersionUID = 1L;

			@Override
			public void call(Integer score) throws Exception {
				System.out.println(score);
			}
		});
		sc.close();
	}

}

输出

150
100
90