weixin_44445168的博客

Spark WordCount如果说一个刚接触java程序,敲出的是hello,那么刚接触spark,敲出的应该是wordcount从最开始入门hadoop的时候,就接触过由hadoop官方提供的样例jar,里面的wordcount程序,用来mr程序进行的词频统计spark也一样,在其example包中包含了wordcount的样例简单描述:WordCount 是用来统计某个文件,或者某个数据集中,单词的出现次数首先贴上官方源码public final class JavaWordCount {

Spark的执行脚本#! /bin/bashspark2-submit –class it.luke.Mainapp –master yarn –deploy-mode cluster –driver-memory 4g –num-executors 10 –executor-memory 2g –executor-cores 2 –conf spark.sql.autoBro...