寂空师叔

一、环境介绍我在这里用的是三台虚拟机master 192.168.1.100slave1 192.168.1.101slave2 192.168.1.102二、程序下载这里已经把程序传到网盘上这，方便大家下载1、hadoop-2.5.22、scala-2.11.63、spark-1.3.1-bin-hadoop2.4三、开始安装1、安装hadoop，安装

一、在这里本码奴强烈推荐一款IDE   intellij Idea 官网地址 http://www.jetbrains.com/idea/ 只能用一句话来概括~ 您值得拥有二、 正题1、插件安装下载安装 scala 然后重启 Intellij Idea2、新建一个 scala 项目File -> New Project 可以找到如下图菜单

Spark核心类介绍SparkContent SparkContext是Spark的入口,负责连接Spark集群，创建RDD，累积量和广播量等。 其中有两个关键调度器会在SparkContext实例化时启动:dagScheduler: DAGSchedulertaskScheduler: TaskSchedulerDAGScheduler DAGScheduler主要属性:eventPr