MapReduce允许用户自定义计数器,计数器是一个全局变量,计数器有组的概念,可以用Java的枚举类型或者用字符串来定义方法
Hadoop内置的计数器,主要用来记录作业的执行情况
内置计数器包括如下:
MapReduce框架计数器(Map-Reduce Framework)
文件系统计数器(File System Counters)
作业计数器(Job Counters)
文件输入格式计数器(File Output Format Counters)
文件输出格式计数器(File Input Format Counters)
Shuffle 错误计数器(Shuffle Errors)
自定义计数器:
context.getCounter("aaa","bbb").increment(1);
aaa为计数器组名称,bbb为计数器名称,increment(1)代表递增+1
本文介绍了MapReduce中计数器的功能与使用方法,包括Hadoop内置的各种计数器如MapReduce框架计数器、文件系统计数器等,以及如何自定义计数器来跟踪作业执行情况。
310

被折叠的 条评论
为什么被折叠?



