分类
分为 内置计数器 和 自定义计数器两种
内置
任务计数器
文件系统计数器
FileInputFormat计数器
FileOutputFormat计数器
作业计数器



自定义计数器
方式一
通过 context 上下文对象,在 map 端使用计数器.
// 两个参数 第一个参数是计数器的分类,分类名
// 第二个参数 是统计数的名字.要统计字段的名字
Counter count = context.getCounter("MR_COUNT","MapReduceCounter");
count.increment(1L);
方式二
将方式一替换. 使用枚举替换
public static enum Counter{
REDUCE_INPUT_RECORDS,REDUCE_INPUT_VAL_NMS;
}
context.getCounter(Counter.REDUCE_INPUT_RECORDS).increment(1L);
本文详细介绍了Hadoop MapReduce中的计数器,包括内置的计数器如任务、文件系统、输入输出格式计数器,以及如何自定义计数器。通过上下文对象在map端使用计数器进行统计,可以通过枚举方式更方便地管理和增加计数。这些计数器在监控和调试MapReduce作业时非常有用。
693

被折叠的 条评论
为什么被折叠?



