hadoop知识之counter

最新推荐文章于 2022-03-12 21:51:50 发布

原创最新推荐文章于 2022-03-12 21:51:50 发布 · 712 阅读

CC 4.0 BY-SA版权

56 篇文章

订阅专栏

本文介绍了在MapReduce任务中如何使用try-catch结构来记录并统计错误行的数量，并展示了如何通过特定计数器查看这些错误的具体数值。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在mapper中

try catch 异常中作如下处理：

context.getCounter("errorLines", "mapShortUrl").increment(1);

在界面中会看到如下的计数。

	Counter	Map	Total
errorLines	mapShortUrl	23,128	23,128
Job Counters	SLOTS_MILLIS_MAPS	0	23,779
	Launched reduce tasks	0	1
	Total time spent by all reduces waiting after reserving slots (ms)	0	0
	Rack-local map tasks	0	1
	Total time spent by all maps waiting after reserving slots (ms)	0	0
	Launched map tasks	0	1
	SLOTS_MILLIS_REDUCES	0	12,844