Hadoop完全分布式环境搭建

本次环境搭建使用Ubuntu虚拟机完成

在搭建Hadoop环境之前需要安装VMware和Ubuntu虚拟机，这边就不再赘述，在本文中使用了Ubuntu16.04作为虚拟机，一共四台虚拟机，其中一台作为NameNode其他三台作为DataNode，因为有很多配置都是重复的，所以我们先在一台机器上配置完成之后，采用复制虚拟机的方式完成所有机器的环境配置

安装JDK

NameNode也就是master节点的ip 是192.168.88.130，在这台机器上首先安装JDK，JDK版本是1.8.0_151，下载JDK之后进行解压，

tar -zxvf jdk-8u151-linux-x64.tar.gz

然后将解压出来的文件夹放到/usr/local/下（需要root权限）

sudo mv jdk1.8.0_151 /usr/local/

在 /etc/profile 文件中设置环境变量

#set Java environment
export JAVA_HOME=/usr/local/jdk1.8.0_151
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin

source /etc/profile 让环境变量生效

使用java -version进行验证

安装Hadoop

首先从官网上下载Hadoop压缩包 hadoop-2.6.5.tar.gz 进行解压

tar -zxvf hadoop-2.6.5.tar.gz

同样的使用mv 命令将解压完的文件夹放到 /usr/local/目录下

修改/usr/local/hadoop-2.6.5/etc/hadoop/hadoop-env.sh文件中的jdk安装地址为

export JAVA_HOME=/usr/local/jdk1.8.0_151

修改/etc/profile 文件，添加Hadoop环境变量，修改后如下所示

export JAVA_HOME=/usr/local/jdk1.8.0_151
export HADOOP_HOME=/usr/local/hadoop-2.6.5
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

运行hadoop version 如下图所示

Hadoop 有三种运行模式: