Hadoop的配置很简单,但是对于新手来说看到那么多的配置文档还是会感觉摸不着头脑,本文不涉及配置的具体方法,只是给出配置过程中的一个主要思路和解决问题的方向,并给出每一步配置成功的检测方法,便于新手查找配置问题,让配置的过程更加有的放矢。
Hadoop 配置分为JAVA , ssh无密码登录和hadoop的配置。前两项是hadoop运行的基本条件,两者在配置上和hadoop没有直接的联系,只要通过验证方法的命令就可以了。如果碰到不能测试通过的情况就要分析原因,这些原因可以单独处理,网上的方法已经有很多了,大部分别人都遇到过。
- 安装 Java ,配置好$JAVA_HOME
- 验证方法:执行 $JAVA_HOME/bin/java -version #命名执行成功,就算通过了,可以进行下一步
- 配置无密码登录
- 验证方法:执行 ssh localhost # 成功登录可以进行下一步
- 安装hadoop
- 单机安装: 目前使用版本2.6以上的不用做什么其他配置,验证方法:hadoop_location/bin/hadoop version #正确显示hadoop版本就算成功 ,另外,还可以执行下hadoop自带的测试实例程序,执行方法参见 参考文档2
- 伪分布式安装,参见参考文档2.
参考文档:
- 配置Hadoop ssh 无密码登录时 遇到的问题: http://blog.youkuaiyun.com/haizhiguang/article/details/51481564
- Hadoop安装教程_单机/伪分布式配置: http://dblab.xmu.edu.cn/blog/install-hadoop/
===================================================================================
Hbase 配置过程
- 下载Hbase解压
- 把hbase/bin放到path里面hbase-env.sh 文件,设置JAVA_HOME
- 启动hadoop
- 启动Hbase
- 执行hbase version
- 执行hbase shell #进入hbase shell模式
- 执行status # 执行到此处时,第一次的配置过程报了很多错误,由于我的hadoop 采用了比较新的版本2.7,我查看了下Hbase 的版本为1.9,于是把Hbase删掉重新从官网下载一个比较新的使用,目前运行OK。
这个过程中出现的主要问题就是Hbase 的版本和Hadoop的版本如果差距太大的话可能在执行上出现些问题。