baidu_38284985的博客

1、准备安装包2、Spark Standalone 即独立模式  2.1、解压安装包到你安装的目录。  2.2、拷贝 conf 目录下的 slaves 文件，将 slave 节点的 hostname 写在文件中，每行一个。  2.3、拷贝 conf 目录下的 spark-env.sh 文件，将 SPARK_MASTER_HOST 和 SPARK_MASTER_PORT 指定。  2.4、...

转载自1、RDD 全称 弹性分布式数据集 Resilient Distributed Dataset它就是一个 class。abstract class RDD[T: ClassTag]( @transient private var _sc: SparkContext, @transient private var deps: Seq[Dependency[_]] ) ...

RDD编程模型RDD运行规划图注意：当以Cluster模式启动Spark程序时，需要把本地Driver端的Client杀掉，否则会占用本地内存，可能导致本地宕机（可在spark-submit中加上spark.yarn.submit.waitAppCompletion=false）operator...

https://blog.youkuaiyun.com/chenxingzhen001/article/details/11835399

算子：转换算子（transformation）:懒加载，针对RDD操作操作算子（Actions）：即时执行，RDD转化为本地集合即时执行的本地集合结果在Driver中For Example：cogroup：类似groupby 两个RDD的公共字段，其他字段组装起来(通过数组)join：排列组合，类似groupby 两个RDD的所有字段...

并行化，在driver中SparkConf conf = new SparkConf().setAppName("AppName").setMaster("masterIP");JavaSparkContext sc = new JavaSparkContext(conf);//SparkContext sc = new SparkContext(conf);sc.paralleliz...