hadoop安装集群完毕

今天经过一天的努力 终于将hadoop集群搭建完毕

一共三台机器 一台namenode 两台datanode

其中一台datanode 是jobtracker和tasktracker 另一台datanode是tasktracker

其中参考了文章 http://blog.youkuaiyun.com/lee_leefox/article/details/7071692

和hadoop官方文档和同事搭建的例子

安装过程中也遇到很多问题

1.ssh 无法连接本地

通过咨询运维同学 通过修改/etc/ssh/sshd_config文件

加入allowuser 后解决

2.技巧

参考了一篇文章,建议给所有机器都起名字

如namenode,datanode1,datanode2

不要用hadoop1 hadoop2这样久了不容易记清楚的名字

3.启动hadoop时 先启动namenode 再启动jobtracker

停止时顺序相反.

注意的是,要在namenode 上启动 hdfs

bin/start-dfs.sh

在jobtracker上启动mapreduce

bin/start-mapred.sh