centos7搭建hadoop2.8.4集群

1、安装Java，三台机器均需做（也可先安装一台，通过scp拷贝到其他机器上，这里是安装三台）

搜索jdk yum源jdk文件，命令为"yum search jdk"

安装需要版本的jdk，命令如"yum -y install java-1.8.0-openjdk*"

配置Java环境：

通过在命令行中输入"vi /etc/profile"，在/etc/profile文件中加入如下内容：

#set java vars
export JAVA_HOME=/usr/lib/jvm/java
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar:${JRE_HOME}/lib
#set hadoop vars
export HADOOP_HOME=/usr/local/hadoop

export PATH=.:$PATH:${JAVA_HOME}/bin:${JRE_HOME}/bin:{HADOOP_HOME}/bin:{HADOOP_HOME}/sbin

修改后保存文件

使配置文件配置生效，输入命令"source /etc/profile"

通过"java -version"命令验证java是否安装配置成功。

master配置成功之后，可以将master上的配置文件直接拷贝至slaver1和slaver2即可

2、关闭防火墙并修改hosts(root下)，三台机器均需做

1）关闭防火墙

systemctl stop firewalld.service           --禁用防火墙

firewall-cmd --state                           --查看防火墙状态

reboot                                             --重启

2）修改hosts文件

vi /etc/hosts

3）额外操纵（如果需要修改主机名的话，操作该步骤）：修改主机名（slaver1和slaver2同理）

hostname master

reboot

3、设置无密钥登陆（以下步骤本人是在root下操作的，若需要在hadoop用户下，定位至hadoop用户下即可）

1）root用户下修改配置文件，"vi /etc/ssh/sshd_config"（三台机器上的配置文件均修改）

2）master root用户下输入"ssh-keygen -t rsa"，一路回车

 

2）

cd .ssh

cat id_rsa.pub >> authorized_keys

3）将master上的authorized_keys文件分别拷贝至slaver1和slaver2的.ssh目录下（若无该目录，先创建mkdir .ssh）

 

scp -r authorized_keys root@slaver1:/root/.ssh 

scp -r authorized_keys root@slaver2:/root/.ssh 

5）修改三台机器上的权限

chmod 700 ~/.ssh

chmod 600 ~/.ssh/authorized_keys

6）重启服务（三台机器均重启），"service sshd restart"

7）在master主机上通过命令"ssh slaver1"、"ssh slaver2"验证免密码登陆是否设置成功

4、安装hadoop

（1）定位至src目录下，"cd /usr/local/src"

（2）下载对应的hadoop压缩文件，"wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.8.4/hadoop-2.8.4.tar.gz"

（3）解压，"tar -vxzf hadoop-2.8.4.tar.gz"

（4）执行命令，将解压后的hadoop-2.8.4移动至hadoop目录下，"mv hadoop-2.8.1 ../hadoop"

（5）添加用户并为用户设置密码

（6）将hadoop文件夹设置为hadoop用户权限，命令为" chown -R hadoop:hadoop hadoop"，可通过"ll"命令查看文件夹相应的信息

8列信息分别为下图红线框起来的信息

（7）配置hadoop环境，"vi /etc/profile"，在文件最下边加入红线框中的信息

使配置文件配置生效，输入命令"source /etc/profile"

使用命令"hadoop version"验证hadoop是否安装配置成功

（8）创建hadoop子目录tmp，输入命令"mkdir tmp"

（9）修改hadoop配置文件

i）hadoop-env.sh（配置集群环境变量的文件）

添加JAVA环境变量配置

验证

ii）修改core-site.xml文件

iii）修改hdfs-site.xml文件

iv）修改mapred-site.xml.template文件

v)修改yarn-site.xml

master配置成功之后，可以将master上的配置文件直接拷贝至slaver1和slaver2即可

scp -r /usr/local/hadoop root@slaver1:/usr/local

scp -r /usr/local/hadoop root@slaver2:/usr/local

改变权限

chown -R hadoop:hadoop /usr/lib/jvm/java-1.8.0-openjdk-*

chown -R hadoop:hadoop /usr/local/hadoop

（11）测试、验证

hadoop namenode -format（只需要执行一次，若出现问题，需要再次执行时，可把/usr/local/hadoop目录下的logs和tmp目录下的文件删除干净）

启动集群进程，"start-all .sh"

启动完成后，可看到如下进程

全部启动了，才算成功

若部分没有启动成功，去logs文件夹下查看对应的日志，看具体报错信息。

一般情况都是/usr/local/etc/hadoop目录下的配置文件配置的有问题