Spark学习之WordCount

 先上代码，再做分析

  首先，定义一个Object为WordCount，主函数的第9-11行可以连着写成一句。这里主要的两个参数是master，AppName。前者指定运行的集群URL（本例中指定的是local，表示这个程序运行在单机单线程上而无需连接到集群），后者表示的是这个应用的名字，这个值可以帮助我们在集群管理器的用户界面中找到自己的应用。

  第17行：val lines = sc.textFile("url") 从指定的url路径中读取文件内容，lines的类型是一个RDD。

  第19行：val words = lines.flatMap(line => line.split(" ")) flatMap是一个Transformation函数，表示将line的每一行首先按照空格进行分割，并生成一个类似于迭代器的集合，并返回一个新的RDD。

  第21行：val pairs = words.map(word =>(word,1)) 对words这个RDD中的每个元素（这里的每个元素中包含若干个word）进行map运算，计算过程是为每一个word生成一个键值对（word，1），返回一个类型为pair的RDD。

  第23行：val WordCount = pairs.reduceByKey（_+_）reduceByKey的作用是对具有相同键的值进行sum操作，生成汇总的pairRDD。

  最后一行打印结果。如下：

  

  

  每个词的频率就被统计出来了。