唐豌豆的博客

运行环境 工具：idea2019 条件：maven管理j依赖jar包，建立的是quickstart工程 jar包核心代码 object MySpark { def main(args: Array[String]): Unit = { // val conf = new SparkConf().setMaster("local[*]").setAppName("myjob") // val sc = new SparkContext(conf) // //使用空格分离，words与数字

一、Spark简介 诞生：诞生于加州大学伯克利分校AMP实验室，一个基于内存的分布式计算框架 发展历程： 2009年诞生于加州大学伯克利分校AMP实验室 2010年正式开源 2013年6月正式成为Apache孵化项目 2014年2月成为Apache顶级项目 2014年5月正式发布Spark 1.0版本 2014年10月Spark打破MapReduce保持的排序记录 2015年发布了1.3、1.4、1.5版本 2016年发布了1.6、2.x版本 使用Spark的缘由 由于Mapreduce编程模型的一下局