Spark pairRDD

  • 创建pairRDD

    • mapToPair:

      JavaRDD<String> lines_file = sc.textFile("/home/liang/Downloads/spark-2.1.0-bin-hadoop2.7/README.md");
          JavaPairRDD<String, String> res = lines_file.mapToPair(
                          line->new Tuple2<String, String>(line.split(" ")[0], line));
      
    • flatToPair:

  • 转化pairRDD

    • reduceByKey():将具有相同key值得value进行运算,最后返回的pairRDD中key值都是不重复的。先算各个分区的reduceByKey(),最后再将各个分区的结果组合起来
    JavaPairRDD<String, Integer> string_integer = PairRDDCreate.run1();
            for(Tuple2<String, Integer> tuple2 : string_integer.collect()){
                System.out.println(tuple2._1 + " --> " + tuple2._2);
            }
            System.out.println("after reduceByKey");
            JavaPairRDD<String, Integer> string_integer_reduceByKey = string_integer.reduceByKey(
                    (a,b)->a*b
            );
            for(Tuple2<String, Integer> tuple2 : string_integer_reduceByKey.collect()){
                System.out.println(tuple2._1 + " --> " + tuple2._2);
            }
    • combineByKey():相比于reduceByKey和flodByKey,它可以返回和原有的pairRDD value类型不一样的pairRDD, 他接受三个参数,三个参数都是函数,第一个参数是将原来pairRDD中第一次出现的key至所对应的value转化为target type的函数,第二个参数是如果这是一个在处理当前分区之前已经遇到的键,它会使用mergeValue() 方法将该键的累加器对应的当前值与这个新的值进行合并。第三个参数是将各个分区的结果合并。
     JavaPairRDD<String, Integer> string_integer = PairRDDCreate.run1();
    
            JavaPairRDD<String, AvgCount> string_integer_aver = string_integer.combineByKey(
                    (x)->new AvgCount(x,1), //createCombiner
                    (a,x)->new AvgCount(a.total + x, a.num + 1), // mergeValue
                    (a,b)-> new AvgCount(a.total + b.total , a.num + b.num) // mergeCombiner
            );
  • pairRDD 示例:
    pageRank:
    http://blog.youkuaiyun.com/liangdong2014/article/details/70911960

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值