采用浪潮集群搭建Spark的四个节点(cu01,cu02,cu03,cu04),Spark和hadoop已经安装好。使用hadoop 的yarn集群管理器。
1.启动hadoop
[wangj@mu01 ~]$ssh cu01 #进入主节点
[wangj@controller ~]$ cd /opt/software/hadoop/
[wangj@controller hadoop]$ cd hadoop-2.7.4/
[wangj@controller hadoop-2.7.4]$ sudo ./sbin/start-all.sh
#启动hadoop