MapReduce允许用户自定义计数器,计数器是一个全局变量,计数器有组的概念,可以用Java的枚举类型或者用字符串来定义方法
Hadoop内置的计数器,主要用来记录作业的执行情况
内置计数器包括如下:
MapReduce框架计数器(Map-Reduce Framework)
文件系统计数器(File System Counters)
作业计数器(Job Counters)
文件输入格式计数器(File Output Format Counters)
文件输出格式计数器(File Input Format Counters)
Shuffle 错误计数器(Shuffle Errors)
自定义计数器:
context.getCounter("aaa","bbb").increment(1);
aaa为计数器组名称,bbb为计数器名称,increment(1)代表递增+1