Hadoop2.7.3分布式配置

最近刚做完大数据课程的分布式系统搭建及简单应用，决定写篇博客来记录下，以免后续忘记。

实验环境：

  系统版本：Ubuntu16.04

  虚拟机：VMWare 12 Pro 

  JDK：1.8版本

  Hadoop：Hadoop2.7.3 

  Java IDE：Eclipseneon.2 Release 4.6.2(linux版)

根据电脑性能来决定是否安装虚拟机或者是双系统，我们这里采用虚拟机的方式，注意：每台主机的账户名一定要一样的，就是xxx@yyy的xxx要一样，否则会有hadoop通信问题。

1.先装好VM虚拟机软件，这点不用多解释了

 

2.点击新建一个虚拟机，一直下一步就好，注意我的截图上的选项

 

 

 

 

使用桥接网络

 

后面的一直下一步就OK。

虚拟机设置好后还没有系统用，这里我们给他选择下载好的Ubuntu16.04.iso

点击刚创建的虚拟机，编辑虚拟机设置

找到CD/DVD（SATA），选择你的iso文件路径即可。

 

设置好以后即可开机，安装Ubuntu的步骤就跳过了，一直下一步即可，记得设置账户名时一定要一样，主机名可以不一样。

3.进入Ubuntu后应该是这个样子的

 

4.开始准备JDK和hadoop环境

   在oracle官网下载对应Ubuntu系统的JDK

 

我们是Linux x86的，下载即可。下载的文件使用U盘拷贝到虚拟机。在下面的图标中找到你的U盘名字右键连接即可。

 

将JDK文件右键提取到一个地方，路径要好记的。待会配置环境变量会用到路径。

 

按clt+alt+t打开命令行

 

输入配置环境变量命令：

sudo gedit ~/.bashrc

 

末尾添加以下代码：

export JAVA_HOME=你的jdk安装路径  

export JRE_HOME=${JAVA_HOME}/jre  

exportCLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib  

export PATH=${JAVA_HOME}/bin:$PATH

测试输入 java  -version，出现java版本信息成功

 

配置hadoop

下载release版本http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.7.3/hadoop-2.7.3-src.tar.gz

放进Ubuntu中，提取到你好记的路径中。并且重命名为hadoop

配置环境

输入命令sudo gedit ~/.bashrc

末尾添加以下内容：

export HADOOP_HOME = 你的hadoop安装路径

export PATH = $JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH

输入保存命令source ~/.bashrc

 

接下来配置SSH 免密码登录

安装ssh server

sudo apt-get install openssh-server

~$exit
~$ mkdir.ssh
~$ cd .ssh
~/.ssh$ssh-keygen -t rsa

~/.ssh$cat ./id_rsa.pub >> ./authorized_keys

测试一下，看是否需要密码

输入命令ssh localhost，没密码则成功。

修改hadoop配置文件（core-site.xml和hdfs-site.xml文件中根据hadoop路径修改节点内容）

hadoop-env.sh（根据你的jdk安装路径确定）

slaves文件  注意：填写你的hadoop从机主机名，就是hostname的名称，有多少台填多少

core-site.xml

hdfs-site.xml

yarn-site.xml

mapred-site.xml

到此，hadoop配置结束。

查看本机ip地址

输入命令ifconfig

 

修改hosts,编辑/etc/hosts，

cd /etc

sudo gedit hosts

末尾添加，注意：ip地址根据自己的设置

 sudo gedithostname

 

 

将现有的ubuntu主机名修改为master-hadoop 

 

重启虚拟机。

将虚拟机拷贝到其他电脑安装即可，只要修改hostname，确保ip地址是之前hosts文件一一对应的即可。

 

在master主机启动hadoop

·        start-all.sh