这两天试试Hadoop,就在windows下按照安装步骤一步一步去实现,发现问题确实很多。总结下遇到的问题有:
1. Java SDK
不同的Hadoop版本需要的JDK是不同的,我试了下Hadoop 2.6,然后又试了下1.3.1. 发现1.3.1在JDK 8是不行的,然后就换了JDK7,在JDK7下 namenode 格式化已经过去了,启动的时候还是遇到问题了.
因此安装前需要readme或者release note详细看看需要什么版本的JDK
2. Java home的路径
a要避免有空格的路径
b确保hadoop-env.sh 和机器的环境变量配置是一样的.
如果修改了配置,需要重新启动下cygwin
3. 权限问题
2015-01-15 16:58:03,604 WARN org.apache.hadoop.util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
2015-01-15 16:58:03,604 ERROR org.apache.hadoop.security.UserGroupInformation: PriviledgedActionException as:cause:java.io.IOException: Failed to set permissions of path: C:\Hadoop\cygwin64\home\deploy\hadoop-1.2.1\logs\history to 0755
2015-01-15 16:58:03,604 FATAL org.apache.hadoop.mapred.JobTracker: java.io.IOException: Failed to set permissions of path: C:\Hadoop\cygwin64\home\deploy\hadoop-1.2.1\logs\history to 0755
还没有找到问题,大家说是有个java类有问题需要重新编译,也有说是64位的问题. 还没有试。