Spark RDD常用的函数

最新推荐文章于 2025-06-22 16:18:01 发布

原创最新推荐文章于 2025-06-22 16:18:01 发布 · 1.4k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#spark

数据挖掘专栏收录该内容

10 篇文章

订阅专栏

本文详细介绍了Spark中RDD的基本操作，包括创建、转换和行动操作。涵盖了如何从文件或内存创建RDD，各种转换方法如map、filter、flatMap等的使用场景，以及reduce、fold和aggregate等行动操作的实现细节。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

创建RDD-创建
- JavaSparkContext.textFile(filename)：从文件中创建RDD
- JavaSparkContext.parallelize(List)：从内存中的数据创建RDD

转化RDD-转化操作

map()：对RDD中的每个元素进行操作，返回值的类型不必和原RDD的元素值类型相等。

JavaRDD<Pair<Integer, Integer>> numbers = integers.map(new Function<Integer,                            Pair<Integer, Integer>>() {
        public Pair<Integer, Integer> call(Integer integer) throws Exception {
            return new Pair<Integer, Integer>(integer, 1);
        }
    });

filter()：对原RDD中的每个元素进行筛选，选出符合条件的元素，组成新的RDD

JavaRDD<String> pythonRDD = lines.filter(new Function<String, Boolean>() {
        public Boolean call(String s) throws Exception {
            if(s.contains("Python"))
                    return true;
            return false;
        }
    });

flatmap()：当我们想由原RDD中的一个元素返回多个元素的时候，我们就使用这个转化函数
```
JavaRDD<String> words = lines.flatMap(line -> Arrays.asList(line.split(" ")).iterator());
```
union()、intersection()、subtract()、cartesian()：分别是对两个RDD计算并集，交集，减法以及笛卡儿积

mapToPair()：当我们想从原RDD中的每个元素返回一个K，V类型的元素的时候使用该函数：

JavaPairRDD<String, Integer> result = words.mapToPair(word->
            new Tuple2<String, Integer>(word,1)).reduceByKey((a, b) -> a+b);

行动操作
- reduce()：假设一个RDD的元素类型是X，则reduce的作用就是将第一个X和第二个X进行reduce操作然后再放入RDD中，一直到RDD中还剩最后一个X，则将X返回
```
Integer sum = integers.reduce(new Function2<Integer, Integer, Integer>() {
        public Integer call(Integer integer, Integer integer2) throws Exception {
            return integer + integer2;
        }
    });
```
- reduceByKey()：这里要求调用RDD是JavaPairRDD而不是JavaRDD，相当于自动将每个Key值相同的元素整合在一起，让我们通过该函数来确认Value的值
```
JavaPairRDD<String, Integer> result = words.mapToPair(word->
            new Tuple2<String, Integer>(word,1)).reduceByKey((a, b) -> a+b);
```
- fold()：和reduce相似，只不过他可以指定一个初始值，针对每个分区（注意一个RDD会有多个分区存在）首先使用初始值和第一个Reduce进行操作，然后就和reduce一致，具体见下图：（http://blog.jasonding.top/2015/07/12/Spark/%E3%80%90Spark%E3%80%91RDD%E6%93%8D%E4%BD%9C%E8%AF%A6%E8%A7%A34%E2%80%94%E2%80%94Action%E7%AE%97%E5%AD%90/）
  
  fold函数
  
  reduce函数
- aggregate()：因为reduce函数只能返回RDD元素值的类型，比如说RDD的元素类型是Integer，那么reduce只能返回Integer类型的元素，当我们想返回和RDD元素值类型不同的时候，就使用aggregate函数，假设我们想让aggregate返回类型A,那么如下所示：第一个参数a是每个分区的初始化值，第二个参数是对每个分区进行处理的函数，每个分区最后处理的结果就是A类型的数据，第三个参数是对每个分区返回的结果再进行处理，也就是合并。具体流程如下图说是：
```
A a = new A();//进行初始化
A result = integers.aggregate(a, new Function2<A,Integer,A>{
        public A call(A a, Integer integer){
            //自己实现

        }}, new Function2<A, A, A>{
        public A call(A a, A a1){
            //自己实现

        }});
```