flink实战--累加器（accumulator）如何使用

最新推荐文章于 2024-06-18 20:00:58 发布
最新推荐文章于 2024-06-18 20:00:58 发布
阅读量1.4k 收藏 3
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Flink学习必读系列 文章标签： flinkl累加器 flink如何使用累加器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/aA518189/article/details/103618874
本文详细介绍了Flink累加器的使用步骤，包括创建、注册和使用，并强调了注意事项。通过实例展示了如何统计Map算子中成功读取HDFS文件的行数，同时提到了自定义累加器的实现方式。利用累加器，可以在Flink任务执行后获取全局指标值，方便调试和理解任务运行情况。

扫一扫加入大数据公众号和技术交流群，了解更多大数据技术，还有免费资料等你哦

简介

           Flink的Accumulators(累加器)相比spark的累加器，使用起来是非常简单的。通过一个add操作累加最终的结果，在flink任务执行完可以获取最终结果，通过累加器我们可以获取flink任务某些指标的全局值，没有累加器你只能获取单个分区的值，所以累加器在调试程序或者更快了解你的flink任务运行数据的时候是非常有用的。

使用步骤

第一步：创建

                在你需要使用累加器的transformation算子中创建你的累加器，并给累加器命名，累加器的名称是全局唯一的。另外transformation算子最好是RichFunction，比如在RichMapFunction中创建一个累加器对象(

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Flink的累加器（Accumulator）应用
九师兄
10-03 4277
1. 累加器的简单介绍 累加器是从用户函数和操作中，分布式地统计或者聚合信息。每个并行实例创建并更新自己的Accumulator对象, 然后合并收集器的不同并行实例。在作业结束时由系统合并。 累加器的结果可以从作业执行的结果中获得，也可以从Web运行时监视器中获得。 累加器是受Hadoop/MapReduce计数器的启发。但是要注意添加到累加器的类型可能与返回的类型不同。比如：我们添加单个对象,但...
【Flink实战系列】Flink累加器的使用(accumulator)
JasonLee实时计算
01-28 6864
Flink的Accumulator即累加器，与Saprk Accumulator 的应用场景差不多，都能很好地观察task在运行期间的数据变化 可以在Flink job任务中的算子函数中操作累加器，但是只能在任务执行结束之后才能获得累加器的最终结果。spark的累加器用法. Flink中累加器的用法非常的简单: 1：创建累加器： valacc = new IntCounter();...
Flink累加器Accumulator使用
shufangreal的博客
04-25 1947
Flink累加器Accumulator 在Flink程序中如果需要对某些数值进行累加，我们可以用到累加器 累加器也是在JobManager的内存中生成，同时传给TaskManager内存给tasks进行累加的只读数据结构，必须等task操作都操作完了之后才能在客户端读取到累加器的值。 切记：数据在线程内存中传递需要实现序列化 累加器分类 IntCounter LongCounter Double...
【Flink原理和应用】：Flink的累加器（Accumulator）应用
hxcaifly的博客
01-17 4113
1. 累加器的简单介绍 累加器是从用户函数和操作中，分布式地统计或者聚合信息。每个并行实例创建并更新自己的Accumulator对象, 然后合并收集器的不同并行实例。在作业结束时由系统合并。 累加器的结果可以从作业执行的结果中获得，也可以从Web运行时监视器中获得。 累加器是受Hadoop/MapReduce计数器的启发。但是要注意添加到收集器的类型可能与返回的类型不同。比如：我们添加单个对象,但...
flink - accumulator
weixin_34055787的博客
08-10 258
  读accumlator JobManager 在job finish的时候会汇总accumulator的值， newJobStatus match { case JobStatus.FINISHED => try { val accumulatorResults = executionGraph.getAccumulatorsSerialized() ...
flink-Accumulator(累加器)
杜海的博客
01-10 1032
概念 Accumulator(累加器)：累加器主要作用在用户操作(operate)中收集分布式统计信息或聚合信息。每个并行实例创建并更新其自己的累加器对象，不同并行实例的累加器由系统作业结束后合并。结果可以从作业执行的结果中获得，也可以从web运行时监视器中获得。 分类 IntCounter LongCounter DoubleCounter Histogram 自定义(实现Simp...
Flink 计数器Accumulator
王小工小工历程
06-18 908
通常，不需要直接定义 Accumulator 接口的实现，因为 Flink 已经为提供了一些内置的 Accumulator 类型，如 IntCounter, LongCounter, DoubleCounter 等。但如果需要自定义的聚合逻辑，可以实现 Accumulator 接口。
Flink 累加器Accumulator
u012667450的博客
04-27 1499
Flink 累加器Accumulator 1.概述 累加器是具有加法运算和最终累加结果的一种简单结构，可在作业结束后使用。 最简单的累加器就是计数器: 你可以使用 Accumulator.add(V value) 方法将其递增。在作业结束时，Flink 会汇总（合并）所有部分的结果并将其发送给客户端。 Flink 目前有如下内置累加器。都实现了累加器接口。 IntCounter, LongCounter 和 DoubleCounter : 有关使用计数器的示例，请参见下文。 直方图 : 离散数量的柱状直方
flink实战--UDF
阿华田的博客
01-19 5942
简介 UDF可以帮助我们极大地扩展了查询的表达能力，flink Sql自定义函数（UDF）和spark Sql 自定义函数原理是一样的，主要步骤无非就是，注册函数，自定义函数类实现flink自带的接口函数。和spark的UDF对比着来 ，下面介绍具体实现步骤。 UDF的分类和定义 UDF(User-Defined-Function)一进一出。 UDAF(User-...
累加器（Accumulator）
suojie的博客
03-08 2353
public class AccumulatorDemo { public static void main(String[]args){ System.setProperty("hadoop.home.dir", "E:\\software\\bigdate\\hadoop-2.6.0-cdh5.15.0\\hadoop-2.6.0-cdh5.15.0"); ...
Flink Accumulators累加器、Counters计数器的使用和实现自定义Accumulators、Counters
Bulut0907
11-13 1994
目录1. 自定义Accumulators 1. 自定义Accumulators 自定义的方式有两种，两种之间除了要求的数据类型不一样，其它都一样 Accumulator<V, R>: 其中V指add的数据的类型、R指结果的类型 SimpleAccumulator<T>: 其中T指add和结果的数据的类型 ...
Flink 累加器 实例
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
06-25 1966
每个并行的任务实例下有各自的累加器，获取最终值时会把各个并行任务的累加器的值求和。（一个并行度对应一个累加器） map并行度1:
Flink系列：Accumulator的使用方法
NIO4444
06-28 1523
FlinkAccumulator Count 是一个具体累加器的实现， 常用的Counter有：IntCounter、LongCounter、DoubleCounter 如果并行度为1，则普通求和即可 ；如果设置多个并行，则普通累加器求和的结果就不准确 Flink Broadcast和Accumulator 的区别 • Broadcast 允许将1个只读的变量缓存在多台机器上，而不用在任务之间传递变量。广播变量可以进行共享 ，但是不可以进行修改 • Accumu...
Flink累加器和计数器
feizuiku0116的博客
01-13 1435
一、介绍 累加器（Accumulator）有加法运算功能。在程序运行期间，累加器能观察任务的数据变化，这在调试过程中非常有用。累加器通过add()方法累加数据，在作业结束之后获得累加器的最终结果。 最简单的累加器是一个计数器(Counter)，可以使用Accumulator.add()方法进行累加。在作业结束时，Flink将合并所有结果，并将最终结果发送给客户端。 目前Flink内置的几种累加器： Counter：计数器，包含IntCounter、LongCounter、DoubleCounter Hi
09-flink-Accumulator(累加器)
dwb502的专栏
11-04 707
09-flink-Accumulator(累加器) 概念 Accumulator(累加器)：累加器主要作用在用户操作(operate)中收集分布式统计信息或聚合信息。每个并行实例创建并更新其自己的累加器对象，不同并行实例的累加器由系统作业结束后合并。结果可以从作业执行的结果中获得，也可以从web运行时监视器中获得。 分类 IntCounter LongCounter DoubleCounter ...
Flink入门及实战（12）- Flink Accumulators 和 Counters
一角残叶的博客
08-23 542
1 累加器 package com.tzb.demo.batch.batchAPI; import org.apache.flink.api.common.JobExecutionResult; import org.apache.flink.api.common.accumulators.IntCounter; import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.common.func
Flink 源码剖析｜4. 累加器与相关工具方法
长行
02-15 1413
在 Flink 官方文档中，提到单个作业的所有累加器共享一个命名空间，Flink 会合并所有具有相同名称的累加器。（合并多个累加器的结果）功能的一种数据结构，在作业结束后，可以获取所有部分（各个 operator 的各个 subtask）合并后的最终结果并发送到客户端。类型表示累加器结果的类型，这个类型必须是可序列化的。，但是要求累加的值的类型与累加器的结果的类型必须相同，适用于一些相对简单的操作，例如计数器。类型表示每一次向累加器中的累加的值的类型，这个类型不要求是可序列化的；
Flink使用指南：Flink设置全局变量，并在函数中获取，让你的代码更加优雅！
热门推荐
徐腾瑞的博客
07-15 1万+
系列文章目录 Flink使用指南：Checkpoint机制，完全搞懂了，你就是大佬！ Flink使用指南: 面试必问内存管理模型，进大厂一定要知道！ Flink使用指南: Kafka流表关联HBase维度表 Flink使用指南: Watermark新版本使用 Flink使用指南: Flink SQL自定义函数 设置全局变量 Flink允许将自定义的配置传递给ExecutionConfig的环境接口，由于执行配置科在所有的用户功能中访问，因此自定义配置将在所有功能中全局可用。 Conf
Flink的累加器和广播变量、广播流、分布式缓存
影子
03-26 2090
1、Accumulator累加器 Accumulator即累加器，与Mapreduce counter的应用场景差不多，都能很好地观察task在运行期间的数据变化。可以在Flink job任务中的算子函数中使用累加器，但是只能在任务执行结束后才能获得累加器的最终结果。Counter是一个具体的累加器（Accumulator）实现，常用的Counter有IntCounter，LongCounter和DoubleCounter。 用法： 1：创建累加器 private IntCo.
flink1.14scala编程统计订单金额
最新发布
03-02
当需要跟踪某些聚合指标比如已处理条目的数量或特定条件满足次数的时候，可以引入 Flink 提供的累加器机制[^4]。例如，可以通过定义一个新的类成员作为计数器并在适当的地方增加它；最后通过 JobManager 获取到这个...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

阿华田512

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值