weixin_37614967的博客

1. keyValue（单个RDD操作）(1)collectAsMap(把keyvalue的类型转换成Map,去掉重复的，后面覆盖前面的)scala> val pairRDD = sc.parallelize[(Int, Int)](Seq((1, 2), (3, 4), (3, 6)), 2)pairRDD: org.apache.spark.rdd.RDD[(Int, Int)] = P...

广播变量（groadcast varible）为只读变量，使用广播变量的好处：每个节点的executor有一个副本，不是每个task有一个副本，可以优化资源提高性能，比如机器学习的时候。累加器：累加器可以在各个executor之间共享，修改，其中有几种创建方法object AccumulatorTest { def main(args: Array[String]): Unit = { ...

1. 创建一个基本的key-value的RDDscala> val kvPairRDD =     |   sc.parallelize(Seq(("key1", "value1"), ("key2", "value2"), ("key3", "value3")))kvPairRDD: org.apache.spark.rdd.RDD[(String, String)]

1. collectAsMap：说明如下对于一个RDD来说，collectAsMap函数返回所有元素集合，不过该集合是去掉的重复的key的集合，如果元素重该复集合中保留的元素是位置最后的一组样例：val pairRDD = sc.parallelize[(Int, Int)](Seq((1, 2), (3, 4), (3, 6)), 2)scala> val a = pairRDD.coll...

SparkContext中有默认的RDD的分区，当系统运行过程中，可以通过下列方式获得scala> sc.defaultParallelismres10: Int = 8scala> otherRDD.partitions.sizeres11: Int = 8

cogroup函数是一个操作两个RDD的函数,且每个RDD是一个key-value类型；它可以把按照两个RDD的key进行分组，分组的结构是：元组第一个元素是一个key第二个元素是一个列表，其中第一个元素是RDD1的元素，第二个元素是RDD2的元素val pairRDD = sc.parallelize[(Int, Int)](Seq((1, 2), (3, 4), (3, 6), (5, 6))...