Spark..........WordCount-优快云博客

本文介绍了一个基于Apache Spark的简单英文单词计数程序实现方法，通过该程序可以了解如何使用Spark进行数据处理，包括构建SparkContext对象、加载数据源并进行转换等关键步骤。

quickstart 将英文单词基数简单整个过程比起hadoop快很多


package com.zhiyou100

import org.apache.spark.{SparkConf, SparkContext}

object WordCount {

  def main(args: Array[String]): Unit = {


    //创建分布式运行平台  和appname
    //使用master制定运行平台 yarn staandalong mesos(生产坏境) local（开发调试）
    //local(单线程) local[N]（多线程） local[*]（本地cpu有多少个核心就启动多少个线程）

//    val conf =new SparkConf().setMaster("local[2]").setAppName("word count")
//    val conf =new SparkConf().setMaster("spark://master:7077").setAppName("word count")
    val conf = new SparkConf()//.setAppName("word count")
    conf.set("spark.testing.memory", "2147480000")//后面的值大于512m即可

    // 构建SparkContect对象
    val sc =new SparkContext(conf)
    //加载数据源 获取RDD对象
    val fileRdd =sc.textFile("/reversetext/LICENSE.txt").flatMap(line=>line.split("\\s")).map(x=>(x,1)).reduceByKey((v1,v2)=>v1+v2)

    println("这是一个Driver 输出")

    fileRdd.foreach(println)

  }


}