mas2005的博客

1.错误描述：org.apache.spark.SparkException: Only one SparkContext may be running in this JVM (see SPARK-2243). To ignore this error, set spark.driver.allowMultipleContexts = true. The currently running ...

代码：package sparksql_hiveimport org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.sql.hive.HiveContextobject test { def main(args: Array[String]): Unit = { System.setProp...

这里的两份数据是NBA 2017-2018赛季 的比赛结果nba_game.csv和比赛详情nba_game_detail.csv关于NBA，需要了解一个背景知识：    NBA总共有30支球队    NBA的每支球队在每个赛季的常规赛，都会有82场比赛    NBA的每支球队在赛季初都会有场次不等的季前赛，但是按照时间的先后顺序排序之后，最后的82场比赛是常规赛，其余的都是季前赛  ...

1.两个路径的区别1) /home/cry/zookeeper.out     这个路径，在spark编程中，系统会认为是在从进群取这个文件。相当于这个路径：hdfs://bd1803/home/cry/zookeeper.out 2) file:///home/cry/zookeeper.out    这个路径是从本地中取出文件。本地可以理解为：windows 和linux，看编写代码的...

画了一张目前公司刚设计的基础图，热点并发情况下的架构图