Spark2.1.0集群部署

1、从官网下载2.1.0版本的Spark，spark-2.1.0-bin-hadoop2.7.tgz；

2、拷贝都集群中各个节点，解压到特定目录下；

3、启master服务:

# ./sbin/start-master.sh

 master服务启来之后可以看到master的URL地址(或者在日志中查看)

spark://Spark01:7077

4、启所有的Worker，并把worker链接都master上

# ./sbin/start-slave.sh <master-spark-URL>

5、访问master的web UI，在页面中可以看到集群中的woker及资源情况

http://172.20.13.36:8080/

访问具体worker的UI

http://172.20.13.43:8081/

6、启动spark-shell

# ./bin/spark-shell --master spark://Spark01:7077 --executor-memory 10000m --executor-cores 4