1.前言
刚接触mapreduce的人肯定为碰到这样的问题,就是我们在程序中如下类似的命令
- System.out.println(year+" "+airTemperature);//无效,控制台没有输出。
但是console控制台不给我们输出相应的结果,这对于很多通过System.out来调试的人来说,会是一个很头疼的事情,我也对这个很头疼。昨天在看《hadoop权威指南第二版》的第五章的时候,书中有介绍通过web界面来浏览hadoop的作业信息,发现在web界面中能看到许多作业的相关信息。并且知道mapreduce的作业信息都写在了用户日志中,存放在目录hadoop_home/logs/userlogs中。其他日志存放地点参考《hadoop权威指南第二版》p152的表5-2。通过web界面很容用找到这些日志。
MapReduce调试技巧
本文针对初学者遇到的MapReduce程序调试难题,介绍了如何利用Hadoop的Web界面和日志文件来查看作业信息,帮助理解MapReduce任务的运行状态。
4826

被折叠的 条评论
为什么被折叠?



