Flink学习笔记之Metrics原理与实战

最新推荐文章于 2025-05-02 17:16:31 发布
最新推荐文章于 2025-05-02 17:16:31 发布
阅读量875 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Flink 文章标签： Flink Metric MetricReporter MetricFetcher
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/litlit023/article/details/110879633
本文介绍了Flink的Metrics系统，包括metric类型如Counter、Gauge等，以及metric group的概念。详细阐述了如何使用系统metrics和自定义metrics，并探讨了通过WebUI、RESTful API和metric reporters获取metrics的方法。此外，还分享了metrics在自动化运维和性能分析中的应用案例。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

1. 概述

2. Metrics基础知识介绍

2.1 metric types

2.2 metric group

3. metrics的使用

3.1 System metrics

3.2 用户自定义metrics

3.3 获取metrics的方式

3.4 metric reporter

4. metric 实战案例

4.1 自动化运维

4.2 性能分析

5. 参考链接

1. 概述

 

2. Metrics基础知识介绍

flink提供的metrics可以在flink内部收集一些指标，来让开发和运维人员更好的理解作业或集群状态。

2.1 metric types

参考官网文档metric types

  • Counter
  • Gauge
  • Meter
  • Histogram

2.2 metric group

flink内部有多层结构，以Group的方式组织，

指标的唯一标识：Metric Group + Metric Name

 

3. metrics的使用

了解本专栏 订阅专栏 解锁全文 超级会员免费看
AI系统架构原理与代码实战案例讲解
AI天才研究院
08-10 1110
人工智能的概念可以追溯到上世纪50年代，图灵测试的提出标志着人工智能作为一门学科的诞生。早期的研究主要集中在符号推理、专家系统等领域，取得了一些突破，例如机器定理证明、西洋跳棋程序等。上世纪80年代，随着专家系统的兴起，人工智能进入了一个黄金时期。专家系统通过模拟人类专家的知识和经验进行推理和决策，在医疗诊断、故障诊断等领域取得了成功应用。进入90年代，由于计算能力的限制和数据量的不足，人工智能的发展陷入低谷。近年来，随着深度学习技术的突破、大数据的兴起以及计算能力的提升，人工智能迎来了第三次发展浪潮，在图
Flink实战(19)：flink反压_什么是flink反压
2401_84170391的博客
04-29 435
过了一段时间后由于上游的发送速率要大于下游的接受速率，下游的 TaskManager 的 Buffer 已经到达了申请上限，这时候下游就会向上游返回 Credit = 0，ResultSubPartition 接收到之后就不会向 Netty 去传输数据，上游 TaskManager 的 Buffer 也很快耗尽，达到反压的效果，这样在 ResultSubPartition 层就能感知到反压，不用通过 Socket 和 Netty 一层层地向上反馈，降低了反压生效的延迟。是否有了动态反压，静态限速就没用了？
汪文君Metrics实战视频教程
08-16
2018年的Metrics实战视频教程，百度网盘
Flink系列之Metrics
weixin_34331102的博客
06-03 5032
2019独角兽企业重金招聘Python工程师标准>>> ...
什么是 Metrics？
最新发布
weixin_43991457的博客
05-02 818
名称（name）：如 node_cpu_seconds_total，表示 CPU 使用总时长。标签（labels）：用于区分维度，比如哪个节点、哪个容器。如：node_cpu_seconds_total{cpu="0",mode="idle",instance="node1"}数值（value）+ 时间戳（timestamp）：当前时刻的度量值。Prometheus 每隔固定时间（如 15s）去抓取这些数据，组成时序数据（Time Series）。
01-Flink Metrics简介
huaxing_ba的博客
05-04 1324
Flink Metrics简介
Flink（二十七）—— Flink Metrics 原理与监控实战
weixin_42073629的博客
10-17 1389
什么是 Metrics？ Flink 提供的 Metrics 可以在 Flink 内部收集一些指标，通过这些指标让开发人员更好地理解作业或集群的状态。由于集群运行后很难发现内部的实际状况，跑得慢或快，是否异常等，开发人员无法实时查看所有的 Task 日志，比如作业很大或者有很多作业的情况下，该如何处理？此时 Metrics 可以很好的帮助开发人员了解作业的当前状况。 Metric Types Metrics 的类型如下： 首先，常用的如 Counter，写过 mapreduce 作业的开发人员就应该
Flink metrics的几种方式总结
风中云彩的博客
10-18 4093
下面所有的配置都是在flink-conf.yaml 中配置 flink 有以下几种metrics reporter : 1、JMX (org.apache.flink.metrics.jmx.JMXReporter) 参数： port : 连接JMX listens的端口，如果有多个taskmanger在同一台机器，端口可以设置成范围9250-9260 配置： ...
IT学习笔记--Flink
xudasong123的博客
06-03 1463
Data Sources 就字面意思其实就可以知道：数据来源。Flink做为一款流式计算框架，它可用来做批处理，即处理静态的数据集、历史的数据集；也可以用来做流处理，即实时的处理些实时数据流，实时的产生数据流结果，只要数据源源不断的过来，Flink 就能够一直计算下去，这个 Data Sources 就是数据的来源地。Flink 中你可以使用 StreamExecutionEnvironment.addSource(sourceFunction) 来为你的程序添加数据来源。
Flink学习笔记
君永夜
08-27 1839
前言：Flink是当前主流的实时计算框架，阿里的Blink重构了Flink即能做全量数据的批处理，也能做增量数据的实时处理；大数据的业务数据处理分为两个步骤：全量数据批计算，以及增量数据的实时计算，有时处理的业务逻辑是一致的但是代码确是两套，繁琐；当前主流的大数据实时计算框架有： Spark Streming、Kafka Streaming、Storm、Flink、Blink（阿里双十二的主流实时...
25.Flink监控\什么是Metrics\Metrics分类\Flink性能优化的方法\合理调整并行度\合理调整并行度\Flink内存管理\Spark VS Flink\时间机制\容错机制等
涂作权的博客
07-09 1189
25.Flink监控 25.1.什么是Metrics 25.2.Metrics分类 25.2.1.Metric Types 25.2.2.代码 25.2.3.操作 26.Flink性能优化 26.1.复用对象 26.2.数据倾斜 26.3.异步IO 26.4.合理调整并行度 27.Flink内存管理 28.Spark VS Flink 28.1.应用场景 28.2.API 28.3.核心角色/流程原理 28.3.1.spark 28.3.2.Flink 28.4.时间机制 28.5.容错机制 28.6.窗口
flink之metrics开发
启迪思维，精进技术
07-07 492
flink metrics 的作用 1.flink metric的配置 参考： https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/deployment/metric_reporters/ https://www.jianshu.com/p/a91ebb9d8b74
flink-metric原理与实战
bigdata_player
01-17 1911
一、背景介绍 flink内部实现了一套metric数据收集库。同时flink自身系统有一些固定的metric数据，包括系统的一些指标，CPU、内存、IO或者各个task运行的一些指标。具体包含那些指标可以查看官方文档:flink-metric。同时我们也可以利用系统的metric库在自己的代码中进行打点收集metrics数据。此外, flink提供了外部接口reporter，可以用...
flink-metrics度量系统设计
huxian1234的专栏
05-29 901
胡弦，视频号2023年度优秀创作者，互联网大厂P8技术专家，Spring Cloud Alibaba微服务架构实战派(上下册)和RocketMQ消息中间件实战派(上下册)的作者，资深架构师，技术负责人，极客时间训练营讲师，四维口袋KVP最具价值技术专家，技术领域专家团成员，2021电子工业出版社年度优秀作者，获得2023电子工业出版技术成长领路人称号，荣获2024年电子工业出版社博文视点20周年荣誉专家称号。
【Flink metric（1）】Flink指标系统的系统性知识：获取metric以及注册自己的metric
hiliang521的博客
06-23 2099
【Flink metric】Flink指标系统的系统性知识：以便我们实现特性化数据的指标监控与分析
Flink内存管理
m0_50538648的博客
09-03 422
Flink内存管理 1.1问题引入 Flink本身基本是以Java语言完成的，理论上说，直接使用JVM的虚拟机的内存管理就应该更简单方便，但Flink还是单独抽象出了自己的内存管理 因为Flink是为大数据而产生的，而大数据使用会消耗大量的内存，而JVM的内存管理管理设计是兼顾平衡的，不可能单独为了大数据而修改，这对于Flink来说，非常的不灵活，而且频繁GC会导致长时间的机器暂停应用，这对于大数据的应用场景来说也是无法忍受的。 JVM在大数据环境下存在的问题: 1.Java 对象存储密度低。在HotSpo
flink1.12.0学习笔记（七）-监控与优化
weixin_43977307的博客
06-17 946
由于集群运行后很难发现内部的实际状况，跑得慢或快，是否异常等，开发人员无法实时查看所有的 Task 日志，比如作业很大或者有很多作业的情况下，该如何处理？此时 Metrics 可以很好的帮助开发人员了解作业的当前状况。Flink 提供的 Metrics 可以在 Flink 内部收集一些指标，通过这些指标让开发人员更好地理解作业或集群的状态。
Flink 通过 REST API 获取实时 task metric 汇总统计信息
热门推荐
yuchuanchen的专栏
03-11 1万+
#Flink 通过 REST API 获取实时 task metric 汇总统计信息 运行 flink 程序时会经常需要查看当前程序的运行状况，flink 提供了 UI 界面，有比较详细的统计信息。但是 UI 界面也有不完善的地方，比如想要获取 flink 的实时吞吐。本文通过示例介绍通过 flink REST API 获取 flink 实时吞吐。 为了更简单的表示，以下的 REST API 请求...
Flink学习资料精华：原理、应用与公司实践
连接器是 Flink 生态系统中的关键组件，允许用户将 Flink 应用程序与其他技术系统集成。 - Apache.Flink学习.pdf 这可能是有关 Flink 学习的入门指南，包括了基础概念、架构、API 使用方法以及开发案例等。 - 使用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值