搭建Hadoop VM集群

之前一直在单节点psudo-distributed模式下跑，觉得有必要试试搭建一个真正的distributed环境。期间参考了不少文章，这里做个小笔记。

VM创建

这里利用VMware创建一台VM做master，再链接克隆出一台VM做slave。碰到主要的问题有：1. 如何设置VM网络连接 2. 链接克隆slave VM后，如何修复网络配置。这已经在另外一篇文章中做了笔记。

master	192.168.15.131
slave	192.168.15.132

配置ssh无密码登录

每次启动master(运行bin/start-all.sh)时，创建每个deamon进程都提示输入密码，挺烦人的，最好配置ssh以无密码登录：

a. 对于namenode和jobtracker，需要配置master本身的ssh

yum install openssh-server.x86_64
ssh-keygen
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

b. 对于datanode和tasktracker，需要配置slave的ssh

scp root@192.168.15.131:~/.ssh/autorized_keys .
cat ./autorized_keys >> ~/.ssh/authorized_ke