Hadoop为每个作业维护若干内置计数器,以描述多项指标。例如,某些计数器记录已处理的字节数和记录数,使用户可监控已处理的输入数据量和已产生的输出数据量。
一、计数器API
-
采用枚举的方式统计计数
enum MyCounter{MALFORORMED,NORMAL} //对枚举定义的自定义计数器加1 context.getCounter(MyCounter.MALFORORMED).increment(1);
-
采用计数器组、计数器名称的方式统计
// 组名和计数器名称随便起,但最好有意义 context.getCounter("counterGroup", "counter").increment(1);
-
计数结果在程序运行后的控制台上查看
二、计数器案例实操
详见数据清洗案例