flink 自定义kudu connector中使用Metrics计数平均吞吐量，并推送到自定义kafkaReporter

原创 已于 2024-10-29 17:15:53 修改 · 868 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flink #大数据

于 2024-10-29 17:07:40 首次发布

文章目录

前言

   Flink exposes a metric system that allows gathering and exposing metrics to external systems

1. Registering metrics

  继承RichFunction，调用getRuntimeContext().getMetricGroup()

2. Metrics 的类型

2.1 counter

  计数器，累加或者累减

2.2 Gauge

  提供各种类型的值

2.3 Histogram

  表示度量值的统计结果，如平均值、最大值

2.4 meter

  表示平均吞吐量，单位时间内事件次数

3. 指标划分

3.1 指标所属的范围

在这里插入图片描述

3.2 默认所属

在这里插入图片描述

最低0.47元/天 解锁文章
【Flink 监控系列】Flink 自定义 kafka metrics reporter 上报 metrics 到 kafka
JasonLee实时计算
08-04 2854
直接在 Flink Web UI 上面查看。通过 Flink 提供的 Metric Reporters 上报到外部系统，最终在 Grafana 上面展示。通过 Flink Rest API 接口查看。这三种方式各自有各自的使用场景，你可能会问，Flink 都已经提供了这么多种查看方式，那我们为什么还要自定义 kafka metrics reporter 呢？......
Flink实战（七十二）：监控（四）自定义metrics相关指标（二）
微信搜：import_bigdata，大数据领域硬核原创作者
01-23 1498
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 项目实现代码举例： 添加自定义监控指标，以flink1.5的Kafka读取以及写入为例，添加rps、dirtyData等相关指标信息。�kafka读取和写入重点是先拿到RuntimeContex初始化指标，并传递给要使用的序列类，通过重写序列化和反序列化方法，来更新指标信息。 不加指标的kafka数据读取、写入Demo。 public class FlinkEtlTest {
网易云音乐基于 Flink + Kafka 的实时数仓建设实践
Ververica的博客
10-29 2430
简介：本文由网易云音乐实时计算平台研发工程师岳猛分享，主要从以下四个部分将为大家介绍 Flink + Kafka 在网易云音乐的应用实战：背景Flink + Kafka 平台化设计Kaf...
Flink与Kafka
最新发布
Suzy_Leili的博客
06-04 1896
Apache Flink是一个流处理框架，用于处理大量实时数据。它支持数据流和数据集两种操作模式，可以处理批量数据和流式数据。Flink提供了一种高效的、可扩展的、可靠的流处理解决方案，适用于各种应用场景，如实时分析、事件驱动应用、数据流处理等。具体来说，Flink可以作为Kafka的消费者，从Kafka中读取数据，并进行流处理。同时，Flink也可以将处理结果写入Kafka，实现数据的持久化和分布式传输。因此，Flink和Kafka在数据流处理中具有很高的兼容性和可扩展性。
flink自定义metrics监控kafka消费
zyy_2018的博客
08-09 3478
一 背景 因为业务需求，要在flink中监控kafka消费的数据量以及积压情况，在网上找了很久没找到直接能用的代码。 有不少代码引用了：Flink监控：自定义消费延迟Metrics 二 实现 1.KafkaTopicPartitionLagMetric package com.udme.flink.metrics.kafka; import org.apache.flink.metrics.Gauge; import org.apache.kafka.clients.consumer.int.
Flink中如何实现一个自定义MetricReporter
weixin_40278610的博客
11-20 2059
什么是 Metrics 在 flink 任务运行的过程中，用户通常想知道任务运行的一些基本指标，比如吞吐量、内存和 cpu 使用情况、checkpoint 稳定性等等。而通过 flink metrics 这些指标都可以轻而易举地获取到，避免任务的运行处于黑盒状态，通过分析这些指标，可以更好的调整任务的资源、定位遇到的问题、对任务进行监控。接下来本文将介绍 flink metrics 的一些基本概念与原理以及实践。 Flink 对于指标监测有一套自己的实现，同时 flink 自身系统有一些固定的 metric
flink+prometheus reporter中自定义metrics的scopename中去掉metricgroup的key，只显示metric名
打工日常
04-18 583
最近遇到一个需求，就是业务方需要自定义metric，并且metric中不能有metricgroup。比如：flink_taskmanager_job_task_operater_numCount{groupName=“1”,appName=47.387434398493,…}。 刚开始，本人理解错了，以为就是简单的增加自定义metric，我就想，flink本身就支持啊，就将如下代码发了过去： override def map(value: SensorReading): SensorReading
flink1.14.0 kudu1.10.0 connector
12-07
按照我自己的环境将flink升级到1.14.0也就是目前最新的版本，kudu降到1.10.0。 由于flink api的改动，所以修改了一丢丢源码，同时最后编译打包时跳过了deprecation警告，得到目前的包。 【环境：cdh6.3.2（kudu...
flink写入带kerberos认证的kudu connector
03-24
本文将详细介绍如何在Flink中配置和使用带Kerberos认证的Kudu Connector。 ### 1. Kerberos认证简介 Kerberos 是一种网络认证协议，它提供基于票证的验证服务，确保用户和服务之间的通信是安全的。在Hadoop生态...
flink-connector-kudu:基于Apache-bahir-kudu-connector的flink-connector-kudu，支持Flink1.11.x DynamicTableSourceSink，支持范围分区等
03-04
基于Apache-Bahir-Kudu连接器改造而来的满足公司内部使用的Kudu连接器，支持特性范围分区，定义哈希分桶数，支持Flink1.11.x动态数据源等，改造后已贡献部分功能给社区。 使用姿势 clone代码后，改造pom项目坐标后...
Flink Sql 读写操作 Kudu 使用bahir 编译 Flink Kudu Connector
wrj_java的博客
06-21 1910
编译 Flink Kudu Connector 以支持使用 flink sql 操作读写KUDU
Flink中如何实现自定义的Metric？
qq_33240556的博客
10-29 673
Flink支持多种不同的metrics reporter（例如Graphite、JMX、Datadog等），你需要根据你的需求选择一个合适的reporter，并确保它已经被正确配置。，你就可以在这个组下创建不同的度量了。Flink提供了几种不同类型的度量，包括计数器（Counter）、分布直方图（Histogram）、摘要统计（Summary）、 gauge等。通常由Flink的组件（如TaskManager、JobManager）自动创建，但是你也可以手动创建一个子组来组织你的自定义度量。
Flink自定义metric监控流入量
张普的专栏
11-02 4728
点击蓝字关注~~flink任务本身提供了各种类型的指标监控，细化到了每一个Operator的流入/流出量、速率、Watermark值等，通常在实际应用中需要对接入数据做格...
Flink部署——Metric Reporters
京河小蚁的博客
06-27 3743
通过在 conf/flink-conf.yaml 中配置一个或多个报告器，可以向外部系统公开指标。这些报告器将在启动时在每个作业和任务管理器上实例化。所有报告者必须至少具有类或工厂.class属性。可以/应该使用哪个属性取决于报告器实现。有关详细信息，请参阅各个报告器配置部分。某些报告器（称为“计划”）允许指定报告间隔。下面将列出特定于每个报告器的更多设置。指定多个报告器的示例报告器配置 要点:当Flink启动时，包含reporter程序的jar必须是可访问的。支持factory.class属性的记者可以作
【Flink metric（1）】Flink指标系统的系统性知识：获取metric以及注册自己的metric
hiliang521的博客
06-23 2229
【Flink metric】Flink指标系统的系统性知识：以便我们实现特性化数据的指标监控与分析
八种Flink任务监控告警方式
weixin_42049123的博客
01-28 6475
Flink任务告警方式的选择，要从任务的使用情况和期盼来考量；简单的使用，且任务少，可以用监控目标数据库的数据写入情况、per-job和application运行任务探活、Sesion运行方式通过RestApi来告警；特定场景的业务可以靠监控存储中间偏移量来告警；通用大规模应用场景可以通过采集运行时日志、使用调度平台，使用调度平台、引入开源SDK方式、自定义SDK写入通用系统通用系统里方式选择。
Flink 参数配置和常见参数调优
yang灬仔
07-27 4469
Flink参数配置 jobmanger.rpc.address jm的地址。 jobmanager.rpc.port jm的端口号。 jobmanager.heap.mb jm的堆内存大小。不建议配的太大，1-2G足够。 taskmanager.heap.mb tm的堆内存大小。大小视任务量而定。需要存储任务的中间值，网络缓存，用户数据等。 taskmanager.numberOfTaskSlots slot数量。在yarn模式使用的时候会受到yarn.scheduler.maximum-allo
Flink监控：自定义消费延迟Metrics
welcome to daijiguo's blog
08-07 4011
文章目录1. 需求2. 名词解释2.1 committed-offsets2.2 current-offsets2.3 highWatermark3. 自定义Metrics3.1 flink kafka source connector源码分析3.1.2 周期提交3.1.3 Checkpoint时提交3.2 定义HighWatermark Metrics3.2.1 自定义flink kafka consumer3.2.2 自定义序列化器3.2.1 自定义HighWatermark Metrics 1. 需求
flink实战--metrics监控与rest api
热门推荐
阿华田的博客
05-24 1万+
Flink metrics简介 Flink的metrics是Flink公开的一个度量系统，允许收集flink程序的公开指标到外部系统，我们也可以自定义指标通过metric收集，实际开发时经常需要查看当前程序的运行状况，flink 提供了 UI 界面，有比较详细的统计信息。但是 UI 界面也有不完善的地方，比如想要获取 flink 的实时吞吐。本文将详细介绍如何通过metric......
Flink SQL集成Kudu：探索flink-connector-kudu及其依赖
在 Flink 中使用 Kudu 作为数据源或数据目的地，需要依赖特定的 Connector 组件。 Connector 在 Flink 中充当不同系统之间的桥梁，负责数据的读取与写入。Flink Kudu Connector 就是专为与 Kudu 交互设计的组件。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

但行益事莫问前程

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值