关于win7系统远程调试Hadoop时遇到的问题

最新推荐文章于 2019-09-18 11:15:53 发布

蜗牛也要飞

最新推荐文章于 2019-09-18 11:15:53 发布

阅读量434

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/manfangweiwei/article/details/45558071

本文解决了一个使用Eclipse开发Hadoop项目时，控制台无日志显示，实际上能输出正确结果的问题。通过将log4.properties文件复制到项目bin目录下并确保权限正确，问题得以解决。解释了原因在于Eclipse运行环境与Hadoop服务器环境不同，且提供了调试技巧。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

       首先遇到的问题按照这篇文章http://www.360doc.com/content/15/0202/09/20466010_445634294.shtml解决了部分问题,而且在bin目录中已经添加了网友们提供的Hadoop-2.6.0 bin目录下的hadoop.dll ,libwinutils.lib,和winutils.exe。

     但“调试时控制台没有日志显示，实际上又可以输出正确结果”的问题依旧没有得到解决

 log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).

log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info

    最后解决办法是：  把 log4.properties 复制到项目中bin目录下即可，注意复制后的权限。eclipse/workspace/WordCount/bin/  也就是你的eclipse的workspace下面项目的bin目录下，问题得到解决。

    至于会出现该问题的原因我比较同意网友的这个说法： “我个人的理解是，eclipse中的程序是在本机运行的，而不是发送到服务器上运行再返回结果，所以就没有实际的map/reduce日志。在本机运行正确后，再打成jar包，放到hadoop服务器中运行就OK了。本机的作用是调试。”（出处：http://f.dataguru.cn/thread-250980-2-1.html）