hadoop新手的系列问题总结

1、安装hadoop的简单方法。直接下载较高版本，并解压到linux一个目录中。具体步骤参见：http://blog.youkuaiyun.com/aalbertini/article/details/4664758

2、安装完成之后启动hadoop，检查几个进程是否都已正常启动 。jps一下，如果正常，单机模式至少存在namenode、secondaryNamenode、dataNode、JobTracker、TaskTracker被启动。其中namenode存放hdfs元信息，datanode存放实际数据。但通常在几次format namenode之后可能出现datanode启动不起来的情况。异常参见：http://blog.sina.com.cn/s/blog_4c248c5801014nd1.html。我遇到这个问题是删除hdfs的目录并重新format之后成功的。

3、eclipse插件问题：多数已编译的插件在各种版本的eclipse上表现不同，使用源码编译和eclipse版本兼容的插件，为了快速上手可以在网上下载现成的已编译插件（保证hadoop插件版本和hadoop部署版本一致，否则rpc报版本不同，无法连接）。具体步骤参见：http://blog.youkuaiyun.com/arbel/article/details/7674750

4、向hdfs上传文件异常，多数是授权的问题，直接修改hdfs根目录的权限。方法是 ./hadoop fs -chmod 777 /。权限问题就此解决。

5、eclipst连接不上远程hadoop的问题，或者出现执行mapreduce程序报try connection 10次后失败的问题。先检查m/r端口和dfs端口是否颠倒，如果配置正常，请检查core-site.xml和mapred-site.xml中是否使用了localhost,将他改成实际的ip（具体原因未知）。

总之，hadoop在初次安装使用时有很多问题，但网上有很多热心的朋友分享了他们的经验。有些问题今后不断学习过程中再理解体会原理。