Hadoop+Spark 集群部署

研究了几天 Hadoop+Spark 集群部署，虽然现在还是有点不懂（一脸懵B），想写下自己的总结，日后有新的发现再补充。

我安装时候的参考教程：

http://www.powerxing.com/install-hadoop/

http://www.powerxing.com/install-hadoop-cluster/

总结一下，工作分为那么几个步骤：（对于所有机器）

A:安装scala（比较简单）

B:配置hadoop：

1.创建hadoop用户

2.安装JAVA环境（主要配置 JAVA_HOME 环境变量）

3.选择一台机器作为Master （机器集群的群长），配置Master ssh ，可以ssh免密登录其他机器

4.解压hadoop到/usr/local

5.将hadoop文件夹所属者设置为hadoop

6.修改Hadoop的配置文件 ，在/etc/hadoop/下

7.修改hosts文件 （/etc/hosts），让大家能通过名字互相沟通

8.启动hadoop集群

C:配置spark：

1.解压spark

2.修改spark配置文件(slaves ........)

3.启动spark