hadoop运行环境的搭建和hadoop源代码的编译

hadoop运行环境搭建：

http://blog.youkuaiyun.com/licongcong_0224/article/details/12972889

注：(1)所有的配置文件和节点处不要有空格；

          (2)master和所有的slaves的hadoop安装路径要一致；

          (3)datanode无法启动的原因八成是你多次format namenode造成的；解决方法如下:

         [1.

          clusterID不一致，namenode的cid和datanode的cid不一致，导致的原因是对namenode进行format的之后，

          datanode  不会进行format，所以datanode里面的cid还是和format之前namenode的cid一样，

          解决办法是删除datanode里面的 dfs.datanode.data.dir目录和tmp目录，

          然后再启动start-dfs.sh

          ]
         [2.

          即使删除iptables之后，仍然报Datanode denied communication with namenode: DatanodeRegistration错误，

          参考文章http://stackoverflow.com/questions/17082789/cdh4-3exception-from-the-logs-after-start-dfs-sh-datanode-and-namenode-star，

         可以知道需要把集群里面每个houst对应的ip写入/etc/hosts文件就能解决问题。

         ]

 

hadoop基本运行命令：

http://www.cnblogs.com/gpcuster/archive/2010/06/04/1751538.html

 

hadoop代码编译：

http://www.superwu.cn/2013/12/26/913/