gbsmd的博客

已有环境hdfs+spark+yarn一.环境准备 JDK+Scala+Spark二.WordCount单词计数进入spark-shellval lines=sc.textFile("../README.md",2)val words=lines.flatMap(line=>line.split(" "))val ones=words.map(w=>(w,1))...

一. hadoop1.0 hadoop2.0 Spark对比hadoop1.0贡献了三个部分：运行时环境：任务管理者jobTracker ，任务的执行者taskTracker 编程模型：MapReduce，开发者完成Map函数和Reduce函数 数据处理引擎：Map任务，数据的过滤分类；Reduce任务，数据的汇聚但是也有很多不足：可扩展性差：jobTracker既负责资源管理又...

val conf = new SparkConf().setAppName(appName).setMaster(master)val sc = new SparkContext(conf)val lines = sc.textFile("../README.md",2)一般一个RDD开始这样写，配置conf参数，然后用conf作为入参初始化SparkContext。SparkCon...

1.在sparksql打开时（beeline），查询一张表是有数据的，如果此时该表有清洗任务执行，并重新写入数据，那么会出现如下情况    a.在2.0.2版本，如果此时继续查询数据，那么查询结果为没有记录；如果执行refresh table tablename，那么再次查询可以查询到最新数据；如果关闭beeline之后，再重新查询此表，也会查询到最新数据；    b.在2.2.1版本，此...