Hadoop Windows下的问题

这两天试试Hadoop,就在windows下按照安装步骤一步一步去实现,发现问题确实很多。总结下遇到的问题有:

1. Java SDK

不同的Hadoop版本需要的JDK是不同的,我试了下Hadoop 2.6,然后又试了下1.3.1. 发现1.3.1在JDK 8是不行的,然后就换了JDK7,在JDK7下 namenode 格式化已经过去了,启动的时候还是遇到问题了.

因此安装前需要readme或者release note详细看看需要什么版本的JDK

 

2.  Java home的路径

    a要避免有空格的路径

    b确保hadoop-env.sh 和机器的环境变量配置是一样的.

    如果修改了配置,需要重新启动下cygwin

 

3. 权限问题

2015-01-15 16:58:03,604 WARN org.apache.hadoop.util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
2015-01-15 16:58:03,604 ERROR org.apache.hadoop.security.UserGroupInformation: PriviledgedActionException as:cause:java.io.IOException: Failed to set permissions of path: C:\Hadoop\cygwin64\home\deploy\hadoop-1.2.1\logs\history to 0755
2015-01-15 16:58:03,604 FATAL org.apache.hadoop.mapred.JobTracker: java.io.IOException: Failed to set permissions of path: C:\Hadoop\cygwin64\home\deploy\hadoop-1.2.1\logs\history to 0755

还没有找到问题,大家说是有个java类有问题需要重新编译,也有说是64位的问题. 还没有试。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

思考管理

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值