Spark 入门

 1. 环境搭建

1.1 本地模式(开箱即用)

1.1.1 准备工作

1.1.2 原理

1.1.3 操作

 1.1.4 WordCount 示例

 1.2 Standalone 独立集群

1.2.1 原理

 1.2.2 环境搭建与启动

1.2.3 测试

 1.3 Standalone HA

1.3.1 原理

1.3.2  集群配置与启动

 

 

1.4 Spark on Yarn

1.4.1 原理

1.4.2 准备工作

 

 1.4.3 Client 模式

 1.4.4 cluster 模式 

 1.4.5 spark-shell 和 spark-submit 区别

 可以去spark的 /bin 目录下，分别执行 ./spark-shell --help 来查看具体跟哪个参数

 2. Spark 程序开发

2.1 准备工作

2.1.1 pom文件

2.1.2 WordCount 

2.1.3 修改代码，提交到集群

2.1.4 wordcount 流程图