mapreduce中使用计数器

本文介绍了MapReduce中计数器的功能与使用方法,包括Hadoop内置的各种计数器如MapReduce框架计数器、文件系统计数器等,以及如何自定义计数器来跟踪作业执行情况。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

MapReduce允许用户自定义计数器,计数器是一个全局变量,计数器有组的概念,可以用Java的枚举类型或者用字符串来定义方法

Hadoop内置的计数器,主要用来记录作业的执行情况
内置计数器包括如下:
MapReduce框架计数器(Map-Reduce Framework)
文件系统计数器(File System Counters)
作业计数器(Job Counters)
文件输入格式计数器(File Output Format Counters)
文件输出格式计数器(File Input Format Counters)
Shuffle 错误计数器(Shuffle Errors)

自定义计数器:

context.getCounter("aaa","bbb").increment(1);

aaa为计数器组名称,bbb为计数器名称,increment(1)代表递增+1

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值