Ubuntu下Hadoop完全分布式安装

准备条件：

• 三台服务器（一台master，两台slave(slave01,slave02)）
• SSH server
• jdk1.7.0_79
• hadoop-2.6.0.tar.gz
  下载hadoop-2.6.0.tar.gz之后，强烈建议再下载hadoop-2.6.0.tar.gz.mds来验证hadoop压缩包的完整性

---

1.安装SSH，配置SSH无密码登录

每次服务器需要相互通信，所以要设置master和slave之间无密码登录。

在三台机器中分别执行：

• ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa (生成私钥和公钥)
• cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys（将本机生成的公钥放入authorized_keys）

在slave机器上，将slave的公钥分别传给master：

• scp ~/.ssh/id_dsa.pub dumz@master:/home/dumz/.ssh/id_dsa.pub.slave01
• scp ~/.ssh/id_dsa.pub dumz@master:/home/dumz/.ssh/id_dsa.pub.slave02

在master机器上，将slave的公钥追加到authorized_keys中：

• cat ~/.ssh/id_dsa.pub.slave01 >> ~/.ssh/authorized_keys
• cat ~/.ssh/id_dsa.pub.slave02 >> ~/.ssh/authorized_keys

将master的authorized_keys发送到slave的~/.ssh目录下：

• scp ~/.ssh/authorized_keys dumz@slave01:/home/dumz/.ssh/authorized_keys
• scp ~/.ssh/authorized_keys dumz@slave02:/home/dumz/.ssh/authorized_keys

---

然后检查一下三台机器之间两两连接是否都不需要密码

---

在每台机器上安装jdk

下载jdk压缩包，并解压安装：

• tar -zxf jdk-1.7.0_79 -C destination (destination填自己想要解压到的目录)

修改环境变量

• vim ~/.bashrc（如果是在服务器上安装，一定不要修改/etc/profile，以免影响他人的环境变量）
• 在~/.bashrc中加入：

JAVA_HOME=/home/hostname/jdk1.7.0_79
CLASSPATH=.:\$JAVA_HOME/lib.tools.jar
PATH=\$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH

• source ~/.bashrc 使环境变量生效

2.在每台机器上安装hadoop

下载hadoop-2.6.0.tar.gz，并解压安装：

• tar -zxf hadoop-2.6.0.tar.gz -C destination(destination填自己想要解压到的目录)