Hadoop搭建注意事项

经过两次搭建环境实践后，总结搭建原理。

1方式 单机 http://blog.youkuaiyun.com/xuxiuning/article/details/51013571
2方式 多机 http://blog.youkuaiyun.com/xuxiuning/article/details/51018425

1 Hadoop 各个目录的解释

• bin：Hadoop管理脚本和使用脚本所在目录， sbin目录下的脚本都是使用此目录下的脚本实现的。
• etc：Hadoop的所有配置文件所在的目录，所有hadoop的配置在etc/hadoop目录下
• include:对外提供的库的头文件
• lib ：对外提供的动态编程库和静态编程库，与include中的头文件结合使用
• libexe：对各个服务对应的shell配置文件所在的目录，可用于配置日志输出目录，启动参数等基本信息
• sbin：Hadoop管理脚本所在目录，主要包含HDFS和YARN中各类服务的启动和关闭脚本
• share：Hadoop各个模块编译后的jar包所在的目录

2 HA的配置方式有多种，方法2使用的是其中一种

（1） 方法2使用的是JournalNode配置方式，需要至少准备3个JournalNode来保证nn1和nn2之间的同步，其中主节点最好不配置JournalNode
（2）两个NN应该位于不同的机器上，且不再配置其他服务，方法2中nn2配置了其他服务，是因为机器不够。
（3）HDFS2.0中无需再配置Secondary Name，nn2已经替代了其功能。
（4）主备两个NN有两种切换方式，手动切换和自动切换，其中自动切换是通过Zookeeper实现的，要单独部署一个Zookeeper集群，通常为奇数个节点，方法2当中使用的是手动切换方式。