在多台阿里云服务器上部署Hadoop分布式系统及WordCount实验

一、实现master与slave之间无密码连接
分别在master及slave上生成rsa密钥：

mkdir ~/.ssh
cd ~/.ssh
ssh-keygen -t -rsa

一路回车（选择默认设置），此时，ssh文件夹中生成了id_rsa.pub和id_rsa两个，然后使用scp命令将公钥（id_rsa.pub）分别拷到对方机器中

scp id_rsa.pub h1@对方机器IP：~/.ssh/authorized_keys

并设置权限：

chmod 700 authoized_keys
chomd 777 ~/.ssh

使用cat命令实现无密码访问自身（localhost）cat id_rsa.pub >> authorized_keys
二：关闭防火墙

sudo ufw disable

三：添加防火墙规则
因阿里云服务器原只支持22、80和４４３端口，所以需要到控制台中添加防火墙规则，使其支持９０００端口等（选择全部ＴＣＰ＋ＵDＰ）。
四：安装JDK
到官网下载JDK tar包，本次实验下载的JDK1.8.0版本,在h1用户下新建/usr/java文件夹，并将下载的压缩包解压到java文件夹中：tar -zvxf jdk-8u191-linux-x64.tar.gz然后打开etc/profile 进行环境变量配置：

export JAVA_HOME=/usr/java/jdk1.8.0_191
export JRE_HOME=/usr/java/jdk1.8.0_191/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$JAVA_HOME:$PATH

保存退出，使用source 命令或者重启sudo shutdown -r now使配置生效。可以使用which java测试java是否配置成功。
五：修改hostname及hosts
修改/etc/hostname,master机器上改为master，slave1机器上改为slave1。
修改/etc/hosts,/etc/hosts中原来的内容全部删除，然后加入namenode和datanode的ＩＰ以及名字；master中的hosts中的masterＩＰ为master本机内网ＩＰ，其他slave节点ＩＰ为外网ＩＰ；相同的，slave中的hosts中的本机ＩＰ必为本机内网ＩＰ，其他节点为外网ＩＰ。
六：安装Hadoop
到官网下载Hadoop压缩包，本次下载的版本为2.9.1，在h1用户下新建文件夹/hadoop，并将下载好的压缩包解压缩到hadoop文件夹中tar -zvxf hadoop-2.9.1.tar.gz。
在hadoop目录下新建hdfs文件夹，并在hdfs文件夹中新建name、data、tmp三个文件夹。
进入hadoop目录下的hadoop/etc/hadoop文件夹中对hadoop配置