hadoop单节点安装及eclipse调用

由于算法测试需要调用hadoop集群，但是使用别人搭建的hadoop集群老挂，挂了后还需要求助别人；于是自己就搭建了一个单节点的hadoop，将就用着。关于单节点hadoop安装我参考了：

http://www.cnblogs.com/end/archive/2012/08/13/2636645.html

这篇文章讲的是在虚拟机上面安装hadoop，我的实际情况跟这个有点出入，我是通过本机SecureCRT 客户端连接linux 服务器，所以我不需要安装虚拟机。所以安装步骤简化了不少：

一、 创建无密码登录。

根据上面资料，创建密码对后，发现 ssh localhost 还是需要输入密码。

解决思路：

查看ssh日志文件，错误信息： ssh Authentication refused: bad ownership or modes for directory /home/cmcc/.ssh

搜索资料发现，是authorized_keys 文件权限太高，去掉 w 权限；chmod g-w authorized_keys

二、解压安装hadoop1.0.3，修改配置文件。

在hadoop namenode -format 后，datanode起不起来。原因是之前的datanode数据文件没有被删除干净，所以需要rm -rf data 和 rm -rf datalog。

三、eclipse Java代码调用hadoop数据。

代码运行报错，提示groupsuper权限问题；这个是由于文件检查权限不够的原因；解决方法：

修改hdfs-site.xml文件，设置 dfs.permissions为false。

以上就是我单节点 hadoop安装测试所遇到的一些问题，希望对你有所帮助。