hadoop学习笔记--第九天--Report Counter

最新推荐文章于 2018-08-18 16:53:22 发布

wudi_1982

最新推荐文章于 2018-08-18 16:53:22 发布

阅读量675

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop学习笔记

本文链接：https://blog.youkuaiyun.com/wudiit/article/details/17284827

hadoop学习笔记专栏收录该内容

12 篇文章

订阅专栏

本文介绍了在Hadoop程序中如何定义和使用计数器来累计特定事件，以及如何通过reporter对象在Map和Reduce任务中报告计数器。在作业完成后，可以在Web监控页面查看计数器的总和，以了解整个作业的执行情况。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

可以在程序中定义不同的计数器，分别累计特定事件的发生次数。对于同一作业所有任务的相同计数器，Hadoop会自动对他们求和，以反映整个作业的情况。

在Map以及reduce方法中，有一个reporter对象。例如以下代码红色字体部分：

    public static class MapClass extends MapReduceBase
            implements Mapper<Text, Text, IntWritable, IntWritable> {

        private final static IntWritable uno = new IntWritable(1);
        private IntWritable citationCount = new IntWritable();

        public void map(Text key, Text value,
                        OutputCollector<IntWritable, IntWritable> output,
                        Reporter reporter) throws IOException {
            try
            {
                citationCount.set(Integer.parseInt(value.toString()));
            }
            catch (NumberFormatException e)
            {
                citationCount.set(9999);
                reporter.incrCounter("Mygrp","noint",1);
            }
            output.collect(citationCount, uno);
        }
    }

上述代码是对昨天CitationHistogram代码的修改，在捕获到异常，无法完成字符串到整型的转换时，定义计数器，Mygrp,noint。

在定义计数器的程序运行后，在web的监控页面中，通常地址是：http://hdpnamenode:19888/jobhistory/jobcounters/job_id

可以看到：

Mygrp