windows环境搭建Hadoop过程中的一些问题及解决办法

先说明两点:
1.搭建的基本过程参见Hadoopor论坛的Hadoop开发者杂志第一期,很靠谱。
2.本文以下内容全部经过个人验证。

搭建环境过程中出现的问题:
a.安装cygwin时源URL的选择
参照Hadoop开发者论坛,如下:

[img]http://dl.iteye.com/upload/attachment/0065/7727/8446f120-5971-3e68-a0f5-9405395a7dff.jpg[/img]

但实际上该源并不能使用。
推荐:在URL里输入:http://mirrors.163.com/cygwin/,点击Add按钮,然后选中 http://mirrors.163.com/cygwin 进行安装。

b.JAVA_HOME问题
在hadoop-env.sh 中设定JDK 的安装目录,例如:
export JAVA_HOME=/cygdrive/d/java/jdk1.6.0_13,注意去掉该行前边的#,看似微小的问题,很多人在这里浪费了时间。另外,不建议安装JDK到Program Files文件下,可能导致奇怪问题。

c.经典的INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 0 time(s)问题
现在Hadoopor论坛好多人还在纠结,当时自己也花费了不少精力解决这个问题,这里做一下解答,感谢论坛里曾经帮助自己的前辈。
原因:hadoop默认配置是把一些tmp文件放在/tmp目录下,重启后,tmp目录下的东西被删除,所以报错。
解决方法:在conf/core-site.xml中修改hadoop.tmp.dir属性的值,即换一个路径。例如,我修改为:
<property>
<name>hadoop.tmp.dir</name>
<value>/home/${user.name}/cloudera-data</value>
<description>A base for other temporary directories</description>
</property>
然后格式化namenode,重启hadoop即可。

截几张图片:
a.启动hadoop

[img]http://dl.iteye.com/upload/attachment/0065/7749/e6c0e3f1-90f2-3598-aa1f-49f379c479b5.jpg[/img]

b.用jps命令查看

[img]http://dl.iteye.com/upload/attachment/0065/7751/7522158e-a057-321d-80da-841107698567.jpg[/img]

c.输入./hadoop fs -ls /

[img]http://dl.iteye.com/upload/attachment/0065/7753/366c0570-120c-3b39-b117-47e53b41a612.jpg[/img]

by the way,我的hadoop版本是0.20.2 :evil:
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值