《深入理解Spark》之spark初体验-wordCount

 XML Code 

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72

package com.lyzx.day09 import org.apache.spark.{SparkContext, SparkConf} /**  * 一个scala版本的wordCount小栗子  * scala的版本是2.10.4  * spark的版本是1.6.1  * 其中引入的jar包是  * spark-1.6.1-bin-hadoop2.6\lib\spark-assembly-1.6.1-hadoop2.6.0.jar  * 只有这一个jar包，注意不要把lib下面的所有jar包都引入，会报错  */ class T1 { } object T1{   def main(args: Array[String]): Unit = {     //spark配置对象     val conf = new SparkConf()     //设置这个程序的名字     conf.setAppName("myFisrtSparkProgramer...")     //设置运行模式     conf.setMaster("local")     //spark上下文对象，需要使用到spark配置文件     val sc = new SparkContext(conf)     /**      * 通过上下文变量sc读取文本文件wc      * 文本文件wc中存放的原始内容      * hello world      * hello lyzx      * hello c      * hello java      * hello c++      */     val lineRdd = sc.textFile("wc")     /**      * 通过flatMap把每一行数据全部读取出来后放到一个RDD里面      * 经过flatMap后的数据如下:      * [hello,world,hello,lyzx,hello,c,hello,java,hello,c++]      */     val worlds = lineRdd.flatMap(item=>item.split(" "))     /**      * 把每一个单词作为key，值为1映射为一个元组      * 经过Map操作后的数据如下      * [（hello,1）,(world,1),(hello,1),(lyzx,1),(hello,1),(c,1),(hello,1),(java,1),(hello,1),(c++,1)]      */     val worldTupe = worlds.map(item=>(item,1))     /**      * 通过reduceByKey做规约      * 也就是把key相同的做_+_的操作，其中_+_是scala的一种简单写法，完整写法为(x,y)=>x+y      * 经过这一个步骤后数据如下      * [（hello,5）,(world,1),(lyzx,1),(c,1),(java,1),(c++,1)]      */     val world = worldTupe.reduceByKey(_+_)     /**      * 对最后的结果使用foreach算子把所有的结果的键值循环打印出来      */     world.foreach(item=>println(item._1+" "+item._2))     //最后释放资源，类似于java中inputStream.close()     sc.stop()   } }