spark Java map算子和maptopair算子的使用

zahuali

于 2020-05-13 16:55:45 发布

阅读量1.8k

点赞数

CC 4.0 BY-SA版权

分类专栏： spark 文章标签： spark

本文链接：https://blog.youkuaiyun.com/zahuali/article/details/106101785

本文介绍了Spark Java中map算子的使用，它会将函数应用于RDD的每个元素，产生一对一的结果。示例代码展示了map操作的具体应用。接着，文章讨论了mapToPair算子，该算子用于进行数据类型的转换，特别是将输入转换为Tuple2类型，以适应更复杂的处理需求。实验结果显示了map和mapToPair的应用效果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

map算子会出现一对一的结果

将函数应用于 RDD 中的每个元素，将返回值构成新的 RDD

直接上到代码

ArrayList<Integer> list = new ArrayList<Integer>();
        list.add(1);
        list.add(2);
        list.add(3);
        list.add(4);
        list.add(3);

        JavaRDD<Integer> parallelize = sc.parallelize(list);