Pair RDD创建及转化

最新推荐文章于 2023-03-11 15:33:28 发布

万事无Bug

最新推荐文章于 2023-03-11 15:33:28 发布

阅读量733

点赞数

分类专栏： Spark 文章标签： java spark

本文链接：https://blog.youkuaiyun.com/weixin_45264992/article/details/120555359

版权

Spark 专栏收录该内容

23 篇文章

订阅专栏

本文介绍了Spark中的Pair RDD，它用于存储键值对数据。讲解了如何使用Java通过mapToPair方法从普通RDD转换为Pair RDD，并提供了一个示例，展示如何选取字符串的第一个单词作为键。此外，还探讨了Pair RDD的转化操作，包括如何筛选出键值对中长度大于等于20个字符的数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Pair RDD

概念：
Pair RDD即存储键值对的RDD，期内每个对象都是键值对的形式。

Java创建PairRDD
需要通过一个普通的RDD，然后通过mapToPair方法将其转化成PairRDD.

例子：
将普通RDD中的字符串，取出字符串的第一个单词作为主键，然后生成一个PairRDD

        JavaRDD<String> rdd = sc.parallelize(Arrays.asList("xiaobai is a big boss", "is it right", "sure you are right"));
        JavaPairRDD<String, String> sPair = rdd.mapToPair(new PairFunction<String, String, String>() {
            @Override
            public Tuple2<String, String> call(String s) throws Exception {
                return new Tuple2<String, String>(s.split(" ")[0], s);
            }
      });
            System.out.println(sPair.collect());

运行结果如下：
在这里插入图片描述

Pair RDD的转化操作整合：
在这里插入图片描述
针对两个Pair RDD的操作：

举个使用的例子：
筛选掉长度大于等于20个字符的数据

Function<Tuple2<String, String>, Boolean> longWordFilter =
 new Function<Tuple2<String, String>, Boolean>() {
 public Boolean call(Tuple2<String, String> keyValue) {
 return (keyValue._2().length() < 20);
 }
 };
JavaPairRDD<String, String> result = pairs.filter(longWordFilter);
     System.out.println(result.collect());

或者这样写也一样的：

        JavaPairRDD<String, String> result= sPair.filter(new Function<Tuple2<String, String>, Boolean>() {
            @Override
            public Boolean call(Tuple2<String, String> stringStringTuple2) throws Exception {
                return (stringStringTuple2._2().length() < 15);
            }
        });
        System.out.println(result.collect());

执行结果：
在这里插入图片描述