Hadoop配置与调试

安装hadoop教程，非常详细
http://www.powerxing.com/install-hadoop/

32位ubuntu重新编译Hadoop
http://blog.youkuaiyun.com/ggz631047367/article/details/42460589

hadoop之eclipse插件编译以及安装教程

http://blog.youkuaiyun.com/ggz631047367/article/details/42497557

在调试代码时，需要给Jar包附加源代码，随便选择一个Jar，属性->Attachment，选择源代码文件夹即可为所有Jar文件添加源代码，

可能会因为版本不一样所以需要选择特定版本的文件夹下的代码。

启动服务：
jps（Java Virtual Machine Process Status Tool）可以用来查看当前Java进程

hadoop/sbin/start-all.sh：This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
使用jps命令发现NodeManager和ResourceManager已经启动了，说明YARN启动了
然后使用stop-all.sh即可关闭所有服务。
一般使用start-dfs.sh即可打开服务，可以使用jps命令查看启动的服务，也可以访问：http://localhost:50070/

如果该服务不启动的话，Eclipse无法访问HDFS，那么就无法调试。

当调试程序时，发现无法输出日志，输出三行警告：

log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).

log4j:WARN Please initialize the log4j system properly.

log4j:WARN hadoop See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.

然后使用拷贝文件的方法没有解决：http://blog.youkuaiyun.com/caiandyong/article/details/44601469

使用新建然后加入如下内容得以解决：http://blog.youkuaiyun.com/shennongzhaizhu/article/details/50493338

log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n