本次环境搭建使用Ubuntu虚拟机完成
在搭建Hadoop环境之前需要安装VMware和Ubuntu虚拟机,这边就不再赘述,在本文中使用了Ubuntu16.04作为虚拟机,一共四台虚拟机,其中一台作为NameNode其他三台作为DataNode,因为有很多配置都是重复的,所以我们先在一台机器上配置完成之后,采用复制虚拟机的方式完成所有机器的环境配置
安装JDK
NameNode也就是master节点的ip 是192.168.88.130,在这台机器上首先安装JDK,JDK版本是1.8.0_151,下载JDK之后进行解压,
tar -zxvf jdk-8u151-linux-x64.tar.gz
然后将解压出来的文件夹放到/usr/local/下(需要root权限)
sudo mv jdk1.8.0_151 /usr/local/
在 /etc/profile 文件中设置环境变量
#set Java environment
export JAVA_HOME=/usr/local/jdk1.8.0_151
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin
source /etc/profile 让环境变量生效
使用java -version进行验证
安装Hadoop
首先从官网上下载Hadoop压缩包 hadoop-2.6.5.tar.gz 进行解压
tar -zxvf hadoop-2.6.5.tar.gz
同样的使用mv 命令将解压完的文件夹放到 /usr/local/目录下
修改/usr/local/hadoop-2.6.5/etc/hadoop/hadoop-env.sh文件中的jdk安装地址为
export JAVA_HOME=/usr/local/jdk1.8.0_151
修改/etc/profile 文件,添加Hadoop环境变量,修改后如下所示
export JAVA_HOME=/usr/local/jdk1.8.0_151
export HADOOP_HOME=/usr/local/hadoop-2.6.5
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
运行hadoop version 如下图所示
Hadoop 有三种运行模式: