centos7搭建hadoop2.7.2完全分布式集群

centos7搭建hadoop2.7.2完全分布式集群

我之前使用的是centos6.8安装hadoop2.7.2，但报错如下：

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable.是由于缺少hadoop-native-64-2.7.0.tar，但结果还是报错，于是换了centos7.2来安装，不过又入坑了，请看cetos7初体验。

创建目录 /usr/apache 来放置hadoop系列软件，方便管理。

jdk安装：

官网下载jdk1.8（hadoop2.7对idk的要求是jdk1.7以上，为了避免出错，我使用最新的jdk版本）。解压并移动到 /usr/apache 目录。配置环境变量：

vi /etc/profile

加入以下内容：

#java

export JAVA_HOME=/usr/apache/jdk1.8.0_101

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

然后 source /etc/profile，再使用java -version查看java是否安装完成。

ssh免密码配置

ssh的免密码配置请参考http://my.oschina.net/u/189445/blog/503525

可能会报错：-bash: ssh: command not found

解决方法：centos最小化安装会出现的问题.

解决方法：

yum -y install openssh-clients

hadoop安装

环境变量的设置：

vi /etc/profile

#hadoop

export HADOOP_HOME=/usr/apache/hadoop-2.7.2

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

hadoop配置文件的配置

hadoop2.x的配置文件放在 hadoop-2.7.2/etc/hadoop/ 下：

配置hadoop-env.sh与yarn-env.sh

# The java implementation to use.

export JAVA_HOME=/usr/