Flink常用监控API

最新推荐文章于 2024-06-09 16:58:43 发布
最新推荐文章于 2024-06-09 16:58:43 发布
阅读量4.6k 收藏 29
点赞数 7
分类专栏： Flink实战 文章标签： Flink监控 Flink监控接口 Flink监控API Flink 监控
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.youkuaiyun.com/u013539342/article/details/110483769
版权
通常可通过Flink WebUI监控任务状态，但自建实时计算平台需自己实现。Flink有监控REST API，Flink WebUI基于此实现，可通过集群地址加API实现相同功能。使用POST请求调用接口会报错，原因是Yarn代理访问时302跳转更改请求方法，解决办法是改用其他方式停止任务。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

通常，我们可以通过Flink WebUI来查看和监控Flink任务的运行状态，如图

Flink WebUI
但如果我们要基于Flink自建一个实时计算平台，则不能依赖于Flink WebUI，而需要自己实现Flink任务状态的查看和监控了。
实际上，Flink有一套自己的监控REST API，Flink WebUI也是基于这套监控API实现的，我们可以通过调用集群地址+Flink监控API，来实现跟Flink WebUI一样的功能。

集群地址在上图中是http://hadoop-master:8088/proxy/applicationId，常用的Flink监控REST API如下：

请求方法接口功能参数
GET/jobmanager/config获取集群配置
GET/jobmanager/metrics获取JM的metricsget：获取指定metric的值，有多个值时用逗号隔开
GET/jobs获取所有任务id及其运行状态
GET/jobs/metrics获取所有任务的metricsget：获取指定metric的值，有多个值时用逗号隔开；其他支持参数：agg、jobs
GET/jobs/overview获取所有任务的概况
GET/jobs/:jobid获取指定jobid的任务详情jobid(例如e0e129bfb8c68d6a774d493e2d8f0ada)
GET/jobs/:jobid/checkpoints获取指定jobid的检查点统计信息jobid
GET/jobs/:jobid/checkpoints/config获取指定jobid的检查点配置jobid
GET/jobs/:jobid/checkpoints/details/:checkpointid获取指定jobid和checkpointid的检查点详情jobid、checkpointid
GET/jobs/:jobid/config获取指定jobid的任务配置jobid
GET/jobs/:jobid/exceptions获取指定jobid的异常信息jobid、maxExceptions
GET/jobs/:jobid/metrics获取指定jobid的metricsjobid
GET/jobs/:jobid/vertices/:vertexid获取指定jobid和vertexid的算子节点的信息jobid、vertexid(例如bc764cd8ddf7a0cff126f51c16239658)
GET/jobs/:jobid/vertices/:vertexid/backpressure获取指定jobid和vertexid的算子节点的反压情况jobid、vertexid
GET/jobs/:jobid/vertices/:vertexid/taskmanagers获取任务管理器汇总的任务信息jobid、vertexid
GET/overview获取集群概况
GET/taskmanagers获取所有TM的概况
GET/taskmanagers/metrics获取TM的metricsget：获取指定metric的值，有多个值时用逗号隔开
GET/taskmanagers/:taskmanagerid获取指定taskmanagerid的详情taskmanagerid(例如container_1600830023237_0002_01_000002)
GET/taskmanagers/:taskmanagerid/metrics获取指定taskmanagerid的metricstaskmanagerid
POST/jobs/:jobid/stop停止指定jobid的任务，并保存一个savepointjobid、drain(默认false)、targetDirectory(savepoint存储位置)
GET/jobs/:jobid/yarn-cancel停止指定jobid的任务jobid

踩坑：使用POST请求调用接口/jobs/:jobid/stop时，报错405 HTTP method POST is not supported by this URL
原因：从http://hadoop-master:8088/proxy/application_1606890926991_0001/#/overview的proxy就可以看出，我们是通过Yarn的代理来访问Flink监控API的。这时候使用POST请求调用接口/jobs/:jobid/stop，会出现302跳转，而302跳转的时候会更改请求方法，此时服务端可能不能识别，则报405错误。
解决：改用GET /jobs/:jobid/yarn-cancel来停止Flink任务

更多Flink监控接口详见：
Flink监控REST API（官方文档）
Yarn RM REST API（Flink on Yarn使用）

flink实战--metrics监控与rest api
阿华田的博客
05-24 1万+
Flink metrics简介 Flink的metrics是Flink公开的一个度量系统，允许收集flink程序的公开指标到外部系统，我们也可以自定义指标通过metric收集，实际开发时经常需要查看当前程序的运行状况，flink 提供了 UI 界面，有比较详细的统计信息。但是 UI 界面也有不完善的地方，比如想要获取 flink 的实时吞吐。本文将详细介绍如何通过metric......
Flink Table API和SQL原理与代码实例讲解
AI天才研究院
05-31 736
1.背景介绍 Apache Flink是一个开源的大规模数据流处理引擎，它可以在低延迟下实现高吞吐量的数据流处理。Flink支持对大规模数据的实时计算，并且能够无缝地将批处理作业转换为流处理作业。Flink的核心功能包括流数据处理、状态管理、容错机制以及窗口函数等。 Flink的Table API是Flink生态系统中的一项重要特性，它提
Flink教程（13）- Flink高级API（状态管理）
阿甘兄
03-08 2113
文章目录01 引言02 Flink中的有状态计算03 有状态和无状态计算3.1 无状态计算3.1.1 无状态计算特点3.1.2 无状态计算例子（消费延迟计算）3.2 有状态计算3.2.1 有状态计算特点3.2.2 有状态计算例子（访问量统计）3.2.3 有状态计算的场景04 状态的分类4.1 Managed State & Raw State4.2 Keyed State & Operator State4.2.1 Keyed State4.2.2 Operator State05
Flinkcdc监测mysql数据库，自定义反序列化，利用flinkApi和flinkSql两种方式
2301_79197199的博客
04-05 2105
CDC (Flink Change Data Capture)（Flink中改变数据捕获） 是基于数据库的日志 CDC 技术，实现了全增量一体化读取的数据集成框架。搭配Flink计算框架，Flink CDC 可以高效实现海量数据的实时集成。改变你们的一个误区，cdc只有检测功能，不能对数据库中的数据进行修改删除添加。
Flink的几种监控方案以及对比
clz1314521的专栏
08-17 1299
目录 1，利用 API 获取监控数据 2，reporter 去上报监控数据，比如 JMXReporter、PrometheusReporter、PrometheusPushGatewayReporter、InfluxDBReporter、StatsDReporter 等 1，利用 API 获取监控数据 利用 Flink UI 提供的接口去定时获取到监控数据，相关 Rest API 可以查看官网链接：rest-api-integration 2，reporter 去上报监控数据，比如 JMXR.
Flink 任务指标监控
tszc95的博客
01-03 1985
Apache Flink 监控常用指标
详解 Flink 的 ProcessFunction API
weixin_44480009的博客
06-09 1426
相较于 map、filter 和 window 等特定的具体的操作而言，Flink 在底层 API 中提炼出一个统一通用的 process 操作，它是所有转换算子的一个概括性的表达，可以在对应的接口中自定义处理逻辑，而这一层接口就被叫作“处理函数”（ProcessFunction）
Flink官网实例：基于DataStream API 实现欺诈检测，完整实现
02-07
4. **IDEA 开发环境**：IntelliJ IDEA 是常用的 Java 开发工具，也是 Flink 开发的首选。在 IDEA 中，可以方便地创建 Flink 项目，配置依赖，编写和调试 Flink 程序。 5. **实现步骤**： - 首先，我们需要导入 ...
关于Flink的Metrics监控说明
LBJ_小松鼠的博客
08-09 1142
1-Metrics介绍 由于集群运行后很难发现内部的实际状况，跑得慢或快，是否异常等，开发人员无法实时查看所有的 Task 日志，比如作业很大或者有很多作业的情况下，该如何处理？此时 Metrics可以很好的帮助开发人员了解作业的当前状况。 Flink 提供的 Metrics 可以在 Flink 内部收集一些指标，通过这些指标让开发人员更好地理解作业或集群的状态。 2- Metric Types Metrics 的类型如下： 1，常用的如 Counter，写过 mapreduce 作业的开发人员就应该很熟
Flink-底层API（ProcessFunction API）学习使用
clearlxj的博客
08-31 460
ProcessFunction API(底层 API) 转换算子 是无法访问事件的时间戳信息和 水位线信息的。而这在一些应用场景下,极为重要。例如 MapFunction 这样的 map 转换算子就无法访问时间戳或者当前事件的事件时间。 基于此,DataStream API 提供了一系列的 Low-Level 转换算子。可以访问时间戳 、watermark 以及注册定时事件。还可以输出特定的一些事件 ,例如超时事件等。Process Function 用来构 建事件驱动的应用以及实现自定义的业务逻辑 (使用
Flink任务监控（基于API接口编写shell脚本）
qq_36470898的博客
04-29 4819
Flink部署模式主要分为Flink StandAlone 模式，flink-on-yarn 模式。 Flink StandAlone 模式 主要是通过调用
flink api
wzqllwy的博客
01-04 637
DataStream对象，简称ds，作为流计算编程的核心上下文。提供多种功能 //1:接入数据源 1：ds由env和SourceFunction产生，完成接入数据源的功能 //2:数据处理 2：filter。实现过滤功能 3：map，实现1->1的映射转换 4：flatmap，实现拆解字符串等复杂的转换功能 5：project，实现字段裁剪 6：transform实现复杂需求的功能
flink 手动关闭数据流（web api调用）
dongxiexiaoadou的博客
07-13 1002
最近在开发一套数据中台项目，需求是在网页端可以组态连接运行数据流，并可以启停整条数据流。 原来的想法是通过获取flink的运行环境 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); 通过env去启停相关job，但是发现并没有相关方法。 最后通过查询发现flink提供了web api 接口实现了对相关job的操作。 flink 安装后有一个web管理页面，此页面可以上传f
Flink介绍，简单操作，API操作
徐磊的博客
02-06 1015
一、Flink简介 1.1、Flink介绍 Apache Flink是一个框架和分布式处理引擎，用于对无界（DataStream）和有界（DataSet）数据流进行有状态计算。Flink被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。 1.2、Flink特点（六点） 1.2.1、事件驱动型(Event-driven) 事件驱动型应用是一类具有状态的应用，它从一个或多个事件流提...
看完就会的Flink基础API
lydms的博客
11-10 1万+
执行环境、数据源（source）、转换操作（transformation）、输出（sink）四大部分getExecutionEnvironment( )最简单的方式，就是直接调用 getExecutionEnvironment 方法。它会根据当前运行的上下文直接得到正确的结果：如果程序是独立运行的，就返回一个本地执行环境；如果是创建了 jar包，然后从命令行调用它并提交到集群执行，那么就返回集群的执行环境。也就是说，这个方法会根据当前运行的方式，自行决定该返回什么样的运行环境。 这种“智能”的方式不需要我们
Flink架构从入门到精通以及Flink的四层Api详细剖析[持续更新]
曹利荣的博客
08-10 834
qqqqqqqqqqqqqq
Flink基本原理 + WebUI说明 + 常见问题分析
qijingpei的博客
03-02 6452
Flink基本原 + 框架解析 + 如何通过WebUI排查常见问题
Flink实战（七十）：监控（二）搭建flink可视化监控 Pushgateway+ Prometheus + Grafana （windows ）
微信搜：import_bigdata，大数据领域硬核原创作者
01-23 1914
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 1Flink 的配置: 在flink配置⽂件flink-conf.yaml中添加： metrics.reporter.promgateway.class: org.apache.flink.metrics.prometheus.PrometheusPushGatewayReporter metrics.reporter.promgateway.host: localhost # .
Flink 停止 job 的方式（stop 和 cancel）
热门推荐
杜海的博客
10-20 1万+
1.Stop 方式 后边跟的任务id 是flink的任务ID，不是yarn的 flink stop -m 127.0.0.1:8081 357591171dfcca2eea09de 注：stop方式停止任务对 source 有要求，source必须实现了StopableFunction接口，才可以优雅的停止job /** * 需要能 stoppable 的函数必须实现这个接口，例如流式任务的 source。 * stop() 方法在任务收到 STOP 信号的时候调用。 * source 在接收到
flink延迟监控
最新发布
03-15
### Flink 延迟监控的配置与优化 #### 1. 配置延迟监控 要在 Apache Flink 中实现延迟监控，可以利用其内置的 Metrics 系统来收集和报告延迟数据。通过调整 `flink-conf.yaml` 文件中的参数，能够启用并自定义这些功能。 - **启用 Metrics 报告器** 在 `flink-conf.yaml` 文件中，需指定至少一种 Metric Reporter 来导出延迟和其他性能指标的数据。例如，Prometheus 是常用的开源监控工具之一，支持从 Flink 获取实时指标[^2]。 ```yaml metrics.reporter.prom.class: org.apache.flink.metrics.prometheus.PrometheusReporter ``` - **设置缓冲区超时 (Buffer Timeout)** 缓冲区超时直接影响吞吐量和延迟之间的平衡。较短的超时会减少延迟但降低吞吐量；较长的超时则提高吞吐量而增加潜在的最大延迟[^3]。推荐先基于实际需求设定合理的初始值（如默认的 100ms），再逐步微调以找到最佳折衷点。 ```yaml taskmanager.network.memory.buffer-timeout: 100 # 单位为毫秒 ``` - **采集 Event Time 和 Processing Time 差异** 如果应用程序依赖于事件时间处理，则应特别关注 event time lag ——即 processing time 减去 watermarks 的差值。这可通过如下方式计算得出： ```java DataStream<Tuple2<String, Long>> streamWithLag = inputStream .map(new MapFunction<MyEvent, Tuple2<String, Long>>() { @Override public Tuple2<String, Long> map(MyEvent value) throws Exception { long currentProcessingTime = System.currentTimeMillis(); long eventTimestamp = value.getTimestamp(); // 假设 MyEvent 类中有 getTimestamp 方法 return new Tuple2<>("lag", currentProcessingTime - eventTimestamp); } }); ``` #### 2. 排查性能问题 当发现高延迟或其他异常情况时，可按照以下方法定位原因： - **分析 Backpressure 情况** 使用 REST API 或 Web UI 查看是否存在 backpressure 节点。如果某些算子长期处于 HIGH_BACKPRESSURE 状态，则表明下游无法及时消费上游产生的数据流[^4]。 ```bash curl http://<job-manager-host>:8081/jobs/<job-id>/vertices/<vertex-id>/backPressure | jq . ``` - **检查 Checkpoint Duration 及 Frequency** 过长或者过于频繁的 checkpoint 操作可能会显著拖慢整个流水线的速度。建议定期审查 checkpoint 统计信息，并适当延长 interval 时间间隔或减小 state size[^1]。 ```yaml execution.checkpointing.interval: 60000 # 设置每分钟触发一次checkpoint state.backend.incremental: true # 启用增量保存模式节省存储空间 ``` - **评估 Parallelism 设定合理性** 不恰当的任务并发度也可能引发资源争抢现象进而造成额外开销。务必依据硬件规格合理分配 slot 数目以及各 stage 执行单元数量。 --- ###
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值