南弥陀的博客

Scala开发import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.rdd.RDD/** * Created by Administrator on 2017/10/21. */ object TransFormation { def main(args: Array[String]): Uni

一　spark的基本架构Cluster Manager：用来管理资源，随着资源管理者身份的不同而改变，在standalone 模式中即为Master主节点，控制整个集群，监控worker。在YARN模式中为资源管理器Worker节点：从节点，负责控制计算节点，启动Executor或者Driver。Driver： 程序入口，负责申请资源和后续整个application执行的管理Executor：执行

（1）尽量不要重复的创建RDD我们在运行一个spark程序时候，就是对RDD的各种转换，多次使用到同一个RDD的时候要避免创建重复的RDD。 例如： object sparkcore { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("sparkcore").setMaster(