cuidong008的专栏

1.加载数据，我的数据时在hdfs的/data/a.txt，也可以加载本地数据 val file=sc.textFile("hdfs:///data/a.txt") 2.wordcount val r=file.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_) 3.top k，这里共有两种解法  a)解法一，创建case class

基本的想法是, 第一步先partition,把一定范围的数字放入同一个partition 第二步,记录每一个partition的size,可以知道中位数落在哪个partition里面 第三步,把第二部找到的partition进行toArray,然后sort,然后获取中位数,或者不sort,利用的取中位数的函数直接取(后面博客会介绍) 先准备数据: import java.io.Print