Hadoop实践（三）---MapReduce中的Counter

最新推荐文章于 2024-06-27 10:25:41 发布
最新推荐文章于 2024-06-27 10:25:41 发布
阅读量2.7k 收藏 4
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Hadoop MapReduce HDFS Hadoop实践 文章标签： hadoop 框架
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Wee_Mita/article/details/73526358
本文详细介绍了Hadoop MapReduce中的六种Counters：File System Counters、Job Counters、Map-Reduce Framework、Shuffle Errors、File Input Format Counters和File Output Format Counters，分别对文件读写、任务调度、任务执行细节、Shuffle过程中的错误等进行了统计分析。

在Hadoop的MapReduce框架中包括6种Counters，每一种包含若干个Counter，分别对Map和Reduce任务进行统计
Tips：图片中是Hadoop2.7.3 Counters 略有更新 注意区分 其实根据字面意思大概就知道这个Counter是干啥的

1、File System Counters

表示job与文件系统交互的读写统计

  • FILE_BYTES_READ： job读取本地文件系统的文件字节数

  • FILE_BYTES_WRITTEN ： job向本地文件系统写入的文件字节数

  • HDFS_BYTES_READ ： job读取HDFS的文件字节数（包括元数据，所以比FileInputFormatCounters中的BYTES_READ略大）

  • HDFS_BYTES_WRITTEN： job向HDFS写入的文件字节数

这里写图片描述

2、Job Counters

最低0.47元/天 解锁文章

新学期VIP享超值加赠
[MapReduce] Counter
weixin_44248034的博客
03-04 990
SSS
[hadoop]3.0.0以上版本运行hadoop-mapreduce-examples的pi官方示例（踩坑日记）
新一的技术笔记
01-26 8701
前言： hadoop环境都配置好了。运行官方示例 1. 下载官方示例的jar 2. 运行命令hadoop jar hadoop-mapreduce-examples-3.3.0.jar pi 5 5 2.1 遇到问题：任务卡住 Number of Maps = 5 Samples per Map = 5 2021-01-26 16:49:28,195 WARN util.NativeCodeLoader: Unable to load native-hadoop library for you
MapReduce-Counter使用
u011007180的博客
08-21 4264
在普通的java程序中我们可以定义一个全局的静态变量，然后我们可以在各个类中去使用，实现累加器的功能，然而在mapruduce中怎么实现这一功能呢，各个map可能运行在不同的JVM中（这里不考虑JVM重用的情况），然而我们可以借助MapReduce提供的Counter功能来实现这一功能，下面我们通过一个实例来说明这一个用法。 实验要求：快速实现文件行数，以及其中错误记录的统计 实验数据： 1
解决执行MapReduce代码是报如下错误: Job job_1607082280342_0001 failed with state FAILED due to: Task failed task_
LBJ_小松鼠的博客
12-04 7777
我们再执行MapReduce代码时报了一个如下的错误: Job job_1607082280342_0001 failed with state FAILED due to: Task failed task_1607082280342_0001_r_000000 Job failed as tasks failed. failedMaps:0 failedReduces:1 Job job_1607082280342_0001 failed with state FAILED due to: Task
[Hadoop源码解读]（四）MapReduce篇之Counter相关类
云计算?
08-24 345
当我们定义一个Counter时，我们首先要定义一枚举类型： public static enum MY_COUNTER{ CORRUPTED_DATA_COUNTER, NORMAL_DATA_COUNTER }; 然后，我们就可以在mapper或reducer里面增加它的值： context.getCounter(MY_COUNTER....
MR任务中默认counter意义
Royce Wang专栏
03-02 1943
Counter有"组group"的概念，用于表示逻辑上相同范围的所有数值。MapReduce job提供的默认Counter分为五个组，下面逐一介绍。这里也拿我的一份测试数据来做详细比对，它们会以表格的形式出现在各组描述中。  FileInputFormatCounters      这个group表示map task读取文件内容(总输入数据)的统计
javamap源码-HADOOP-COUNTER-SOURCE-CODE:在HadoopMapReduce编码中使用自定义计数器的Java程序
05-22
在“javamap源码-HADOOP-COUNTER-SOURCE-CODE”项目中，我们可以深入理解如何在Java程序中利用Hadoop的计数器机制。这个项目可能包含一个或多个示例，展示了如何在Mapper和Reducer中创建和更新自定义计数器，以便...
Hadoop-Map-Reduce-Word-Counter:使用Hadoop Map Reduce框架对大型文本文档中的单词频率进行计数的类项目
05-10
在IT行业中，大数据处理是一项至关重要的任务，而Hadoop MapReduce框架是实现这一目标的关键工具。本项目"**Hadoop-Map-Reduce-Word-Counter**"是一个典型的例子，展示了如何利用Hadoop来处理大规模文本数据，特别是...
人工智能-项目实践-聚类-基于MapReduce爬虫,可抽取各大新闻网站的新闻正文并进行分类和聚类.zip
12-23
人工智能-项目实践-聚类-基于MapReduce爬虫,可抽取各大新闻网站的新闻正文并进行分类和聚类 这是一个基于Hadoop的分布式爬虫，目前只支持抓取腾讯新闻中心的新闻内容。支持插件机制，可以通过实现Extractor接口自己...
hadoop 2.7.2 (hadoop2.x)使用ant制作eclipse插件hadoop-eclipse-plugin-2.7.2.jar
gao634209276的博客
05-10 5529
本文提供了关于hadoop2.7.2(其他版本一个道理)从ant制作eclipse的hadoop插件,到配置eclipse的hadoop,运行mr程序测试的一系类内容
MapReduce 的计数器（Counter）是什么？
热门推荐
Shockang的博客
06-15 1万+
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 正文 什么是计数器？ 计数器（Counter）是 MapReduce 应用程序报告其统计数据的设施。 Mapper 和 Reducer 实现可以使用计数器报告统计数据。 Hadoop MapReduce 附带了一个非常有用的 mapper, reducer 和 partitioner 库。 举例 比如，用户可能
MapReduce： 计数器（Counter）
不花的花和尚的博客
09-15 1875
一、MapReduce计数器是什么？   计数器是用来记录job的执行进度和状态的。它的作用可以理解为日志。我们可以在程序的某个位置插入计数器，记录数据或者进度的变化情况。 二、MapReduce计数器能做什么？   MapReduce 计数器（Counter）为我们提供一个窗口，用于观察 MapReduce Job 运行期的各种细节数据。对MapReduce性能调优很有帮助，MapRedu...
Hadoop生态圈（二十四）- MapReduce Counter计数器
程序园@大Null
02-05 1608
MapReduce计数器概述，MapReduce内置计数器，MapReduce自定义计数器，Map-Reduce Framework Counters，File System Counters Counters，Job Counters，File Input | Output Format Counters，MapReduce自定义计数器案例
2019-9-4 [MapReduce] run：获取counter信息并输出
景子墨的博客
09-05 524
Counters设置在job的后面 //执行job count = job.waitForCompletion(true)?0:-1; //counter是job执行后的统计信息 Counters cs = job.getCounters(); System.out.println("Counter count"+cs.countCo...
Hadoop 教程 - Hadoop MapReduce Counter计数器
最新发布
qq_33240556的博客
06-27 532
计数器是MapReduce框架提供的一个机制，用于追踪作业执行期间发生的事件次数。它们是全局的，意味着计数器的值可以在整个作业的生命周期内累加，且跨所有TaskTracker节点共享，使得监控和数据分析变得简单直接。定义计数器：在驱动程序中定义计数器，通常在创建Job实例之后。在Mapper/Reducer中使用计数器在Mapper或Reducer的业务逻辑中，当满足特定条件时，增加计数器的值。访问计数器结果。
mapreduce中counter的使用
weixin_34107955的博客
11-29 141
2019独角兽企业重金招聘Python工程师标准>>> ...
MapReduce全局程序计数器Counters
patrick_big_data的博客
02-15 640
文章目录Counters定义以源码的TaskCounter计数器为例自定义Counter例子 Counters定义 Counters represent global counters, defined either by the MapReduce framework or applications. Each Counter can be of any Enum type. Counters...
Hadoop学习笔记（二）：从map到reduce的数据流
diaoqi5743的博客
12-08 203
　　一个MapReduce作业是一个用户希望被执行的工作单元：它包括输入数据，MapReduce程序和配置信息。Hadoop通过把作业分成任务（tasks，分为map tasks 和reduce tasks两种）的形式来运行该作业。 　　有两种节点用来控制每个作业的执行：jobtracker通过把tasks分发到各个tasktrackers来运行，并协调系统上运行的所有作业。task...
MapReduce高级篇——全局计数器
wxk的博客
04-22 1493
在运行程序的时候，程序员很希望去了解程序的运行情况，MapReduce程序运行也是如此，此外MapReduce这种大数据运算，计算时间比较长，不提供一些信息的话，用户只能一边又一遍的调试来查找问题。为此MapReduce提供了计数器，在默认情况下，我们可以可以根据内置的计数器来了解大致情况，但是业务总不可能全都是相同的，有时候也需要自定义，MapReduce也为我们提供了相应的接口，本文主要讲解计数器该如何使用、自定义
基于hadoop mapreduce实现TF-IDF。
05-21
job2.getConfiguration().setLong("totalDocs", job2.getCounters().findCounter("org.apache.hadoop.mapred.Task$Counter", "MAP_INPUT_RECORDS").getValue()); job2.waitForCompletion(true); Job job3 = Job....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值