云服务器搭建hadoop集群

1：环境准备
3台服务器配置如下

公网ip 119.29.186.83 内网ip10.104.157.113
公网ip 119.29.250.47 内网ip 10.104.9.181
公网ip 119.29.251.99 内网ip 10.104.196.48
以上全是centos 7.2
安装java
yum install java-1.8.0-openjdk java-1.8.0-openjdk-devel //此时所有的机器的java都安装在同一个地方

//所有的机器修改profile文件增加这行代码
export JAVA_HOME=/usr/lib/jvm/java-openjdk

2：配置hostname
在3台机器上分别执行

//主服务器
vim /etc/sysconfig/network

hostname=master
:wq
hostname master
exit
再次ssh登进

//从1
vim /etc/sysconfig/network

hostname=slave1
:wq
hostname slave1
exit
依次类推

3：配置hosts文件

vim /etc/hosts

主服务器如下
10.104.157.113 master
119.29.250.47 slave1
119.29.251.99 slave2
从1
10.104.9.181 slave1
119.29.186.83 master
119.29.251.99 slave2

注意 本机的hostname与内网ip对应
    其他的hostname与外网ip对应
然后依次ping master,ping slave1

4：增加hadoop用户

在各台机器上执行
useradd hadoop
passwd hadoop
并设置密码
vim /etc/sudoers
在root下面复制一行
将root改为hadoop

5：配置ssh免登陆

3台服务器上都执行
ssh-keygen
然后一直回车
主服务器上执行：
 ssh-copy-id hadoop@slave1
 ssh-copy-id hadoop@slave2
从服务器上执行:
 ssh-copy-id hadoop@master
 ssh-copy-id slave1(其他hostname)

6：关闭各机器防火墙

systemctl start firewalld
firewall-cmd --permanent --zone=public --add-port=50070/tcp  //namenode web端口
firewall-cmd --permanent --zone=public --add-port=50070/udp
firewall-cmd --permanent --zone=public --add-port=9000/tcp   //namenode rpc端口
firewall-cmd --permanent --zone=public --add-port=9000/udp
firewall-cmd --permanent --zone=public --add-port=50010/udp  //datanode rpc端口
firewall-cmd --permanent --zone=public --add-port=50010/udp
firewall-cmd --permanent --zone=public --add-port=50075/udp  //下载文件端口
firewall-cmd --permanent --zone=public --add-port=50075/udp
firewall-cmd --permanent --zone=public --add-port=8031/tcp   //nodemanager rpc端口
firewall-cmd --permanent --zone=public --add-port=8031/udp
firewall-cmd --reload 
以上所有端口在namenode和datanode均全部开启
需要什么端口可以自行开放（推荐一种暴力方法）
firewall-cmd --permanent --zone=public --add-port=10-50100/tcp 
firewall-cmd --permanent --zone=public --add-port=10-50100/udp 
firewall-cmd --reload

7：创建运行目录

su hadoop
cd /home/hadoop
mkdir apps
将hadoop解压到apps文件夹下

8：配置文件配置

cd /etc
vim hadoop-env.sh
将JAVA_HOME修改为本机的JAVA_HOME
JAVA_HOME=/usr/lib/jvm/java-openjdk

9：公共参数配置

vim core-site.xml
<configuration>
  <property>
    <name>fs.defaultFS</name> //文件系统
    <value>hdfs://master:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name> //临时目录
    <value>/home/hadoop/hdpdata</value>
  </property>
</configuration>

10：文件系统配置文件

vim hdfs-site.xml
 <property>
    <name>dfs.replication</name> //副本数量
    <value>2</value>
  </property>

11：mapreduce配置

vim mapreduce-site.xml
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>

12：yarn配置

vim yarn-site.xml
 //yarn的主机
 <property>
    <name>yarn.resoucemanager.hostname</name> 
    <value>master</value>
  </property>
  //shuffle服务
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>

13：分发

tar -zcvf hadoop-2.7.3.tar.gz hadoop-2.7.3/
scp -r hadoop-2.7.3.tar.gz hadoop@slave1:/home/hadoop/apps
scp -r hadoop-2.7.3.tar.gz hadoop@slave2:/home/hadoop/apps

14：一键脚本启动

cd /etc/hadoop/
vim slaves

然后在namenode上，（仅在namenode上修改slaves文件）
vim slaves (slaves文件在hadoop/etc目录中)
slaves文件内容：
slave1
slave2
之后在namenode上执行命令：
start-dfs.sh
start-yarn.sh
“`

最后结果如图:

16：动态扩容
直接scp一份到一个服务器，起一个datanode即可
下线一台，由于数据有2份，所以完全不用担心