滴滴 Flink 指标系统的架构设计与实践

原创 于 2024-03-12 19:59:01 发布 · 9.7k 阅读 · 22 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flink #大数据

本文详细介绍了 Flink 指标系统的重要性和工作原理，包括 Metric Reporters、Metric 类型、滴滴内部的实现及消费延迟指标的计算。Flink 指标对于实时任务监控和诊断至关重要，滴滴自研了 flink-metrics-kafka 实现，支持周期性推送指标数据。此外，文章还探讨了 Flink 的弹性设计，通过 SPI 加载 MetricReporterFactory 实现指标系统的灵活性。

毫不夸张地说，Flink 指标是洞察 Flink 任务健康状况的关键工具，它们如同 Flink 任务的眼睛一般至关重要。简而言之，这些指标可以被理解为滴滴数据开发平台实时运维系统的数据图谱。在实时计算领域，Flink 指标扮演着举足轻重的角色，例如，实时任务的消费延迟和检查点失败的警报都是基于对 Flink 报告的指标进行监控而触发的；同时，许多实时任务智能诊断的关键决策点也是依 Flink 指标来制定的。

鉴于 Flink 指标系统的重要性，深入理解其工作原理显得尤为必要，这是灵活运用 Flink 指标系统的前提。作为一名平台工程师，我尝试对 Flink 的原理进行一次剖析，如果存在任何不准确之处，敬请各位指正。

Flink 指标系统的核心概念

接下来我们将探讨一些核心概念，它们是理解 Flink 指标系统不可或缺的基础。

Metric Reporters

Metric Reporter 是 Flink 用于导出指标数据的接口，通过 flink-conf.yaml 文件可以轻松配置所需的 MetricReporter。Flink 提供了多种 MetricReporter 的实现，包括 Prometheus、Datadog 等，以满足不同的监控需求。

85c95dd5104318e4cb8022bd33e307fd.png

值得注意的是，尽管 Flink 提供了众多 MetricReporter 的实现，但它如何根据需要动态加载这些实现呢？我们将在后文关于弹性设计的讨论中深入分析这一机制，现在先留个悬念。

MetricReporter 支持两种指标上报方式：Push 和 Pull。具体不赘述了，我们直接引用官方文档中的描述：

Metrics are exported either via pushes or pulls.

Push-based reporters usually implement the Scheduled interface and periodically send a summary of current metrics to an external system.

Pull-based reporters are queried from an external system instead.

滴滴内部的Metric Reporters

滴滴内部没有采用社区的MetricReporter，而是根据滴滴内部实际情况，自研了flink-metrics-kafka。简单来讲，采用push的方式，

滴滴并未使用社区提供的 MetricReporter，而是根据自身需求自主研发了 flink-metrics-kafka。简单来说，该系统采用推送 Push 方式，周期性将 Flink 计算的指标推送到 kafka topic 当中。下文中的实现原理，也是基于 flink-metrics-kafka 介绍的。

986bdcf434483ed4745029fc69888acd.png

Metrics type

Flink 社区对指标进行了高度抽象，定义了四种主要的指标类型：Counter、Gauge、Histogram 和 Meter。

  • Counter：这是一种简单的计数器，用于记录事件的数量。

  • Gauge：这种指标非常灵活，可以返回任意类型的统计数据。Gauge 可以看作是 Counter 的泛化版本。

  • Histogram：正如其名，Histogram 表示的是一系列长整型数值的分布情况，常用于绘制直方图。

  • Meter：这种指标用于度量平均吞吐量，适用于评估系统的处理能力。

滴滴内部的 Metered

在滴滴内部，我们独创了一种名为 Metered 的指标类型（请注意与 Meter 区分），专门用于衡量一段时间内的指标数值。这包括了时间段内的平均值、最大值、最小值以及计数等。实际上，我们内部使用的许多指

最低0.47元/天 解锁文章
滴滴技术
关注
博客
滴滴开源走进浙江大学｜共话开源实践与高校共建
11-07 509
Mpx是一款增强型跨端开发框架，以小程序原生语法和技术能力为基础，借鉴Vue框架的优秀语法设计，通过静态转译与运行时适配相结合，实现“一份源码，多端运行”。滴滴开源与CCF（中国计算机学会）重点孵化的HUATUO项目基于eBPF技术实现低损耗、零侵扰的内核数据采集，覆盖TCP/IP协议栈、CPU调度、内存管理等核心模块，并构建异常事件驱动诊断与全自动化追踪（AutoTracing）两大核心引擎，能够自动捕获softlockup、oom、网络延迟等关键事件，精准定位云原生场景下的偶发与突发故障。
博客
滴滴开源荣获多项 OSCAR “开源+”典型案例奖
10-30 455
作为一个针对开源操作系统的深度可观测性项目，在滴滴内部，HUATUO 实现了超大规模部署，覆盖通用计算、AI 计算、大数据、存储、消息队列等核心场景，并与阿里云龙蜥、华为欧拉、腾讯、麒麟软件等主流生态合作，联合多家科技企业共建开源生态，实现技术共享与协同创新。秉承这一精神情怀，钱一峰积极引领开源文化生根发芽，鼓励更多内部技术同学参与开源贡献，让开源不再只是技术成果的输出，更成为连接个人与社区、企业与行业的重要桥梁，让“共建共享”的理念真正融入开源技术创新的每一步。OSCAR开源+安全及风险治理。
博客
ECML-PKDD ‘25 | FCA-RL框架——基于强化学习的出行服务商动态市场环境效率保障方法
10-16 664
这套离线仿真系统将在后续开源，敬请关注。我们的方法（FCA-RL）相较于传统基线方法大幅降低了出行服务商在动态市场环境下的投资预算控制误差且提升了订单的获取效率，但依然存有局限，比如暂未考虑建模乘客对于投资的长期心智变化及长期供需变化，在未来的工作中，将会尝试将这些考虑进来。在我们的背景设定下，站在我方RSP视角，其他RSP不定期投资幅度变化会导致市场环境动态变化，这会导致在原问题下的求解出的最优解在后续竞争的过程中发生偏移，使得最终花费偏离最初的预算约束，以及原始最优解的钱效变低。
博客
ECML-PKDD ‘25 | FCA-RL框架——基于强化学习的出行服务商动态市场环境效率保障方法
10-16 450
这套离线仿真系统将在后续开源，敬请关注。我们的方法（FCA-RL）相较于传统基线方法大幅降低了出行服务商在动态市场环境下的投资预算控制误差且提升了订单的获取效率，但依然存有局限，比如暂未考虑建模乘客对于投资的长期心智变化及长期供需变化，在未来的工作中，将会尝试将这些考虑进来。在我们的背景设定下，站在我方RSP视角，其他RSP不定期投资幅度变化会导致市场环境动态变化，这会导致在原问题下的求解出的最优解在后续竞争的过程中发生偏移，使得最终花费偏离最初的预算约束，以及原始最优解的钱效变低。
博客
ECML-PKDD ‘25 | FCA-RL框架——基于强化学习的出行服务商动态市场环境效率保障方法
10-16 590
这套离线仿真系统将在后续开源，敬请关注。我们的方法（FCA-RL）相较于传统基线方法大幅降低了出行服务商在动态市场环境下的投资预算控制误差且提升了订单的获取效率，但依然存有局限，比如暂未考虑建模乘客对于投资的长期心智变化及长期供需变化，在未来的工作中，将会尝试将这些考虑进来。在我们的背景设定下，站在我方RSP视角，其他RSP不定期投资幅度变化会导致市场环境动态变化，这会导致在原问题下的求解出的最优解在后续竞争的过程中发生偏移，使得最终花费偏离最初的预算约束，以及原始最优解的钱效变低。
博客
ECML-PKDD ‘25 | FCA-RL框架——基于强化学习的出行服务商动态市场环境效率保障方法
10-16 607
这套离线仿真系统将在后续开源，敬请关注。我们的方法（FCA-RL）相较于传统基线方法大幅降低了出行服务商在动态市场环境下的投资预算控制误差且提升了订单的获取效率，但依然存有局限，比如暂未考虑建模乘客对于投资的长期心智变化及长期供需变化，在未来的工作中，将会尝试将这些考虑进来。在我们的背景设定下，站在我方RSP视角，其他RSP不定期投资幅度变化会导致市场环境动态变化，这会导致在原问题下的求解出的最优解在后续竞争的过程中发生偏移，使得最终花费偏离最初的预算约束，以及原始最优解的钱效变低。
博客
ECML-PKDD ‘25 | FCA-RL框架——基于强化学习的出行服务商动态市场环境效率保障方法
10-16 418
这套离线仿真系统将在后续开源，敬请关注。我们的方法（FCA-RL）相较于传统基线方法大幅降低了出行服务商在动态市场环境下的投资预算控制误差且提升了订单的获取效率，但依然存有局限，比如暂未考虑建模乘客对于投资的长期心智变化及长期供需变化，在未来的工作中，将会尝试将这些考虑进来。在我们的背景设定下，站在我方RSP视角，其他RSP不定期投资幅度变化会导致市场环境动态变化，这会导致在原问题下的求解出的最优解在后续竞争的过程中发生偏移，使得最终花费偏离最初的预算约束，以及原始最优解的钱效变低。
博客
ECML-PKDD ‘25 | FCA-RL框架——基于强化学习的出行服务商动态市场环境效率保障方法
10-16 326
这套离线仿真系统将在后续开源，敬请关注。我们的方法（FCA-RL）相较于传统基线方法大幅降低了出行服务商在动态市场环境下的投资预算控制误差且提升了订单的获取效率，但依然存有局限，比如暂未考虑建模乘客对于投资的长期心智变化及长期供需变化，在未来的工作中，将会尝试将这些考虑进来。在我们的背景设定下，站在我方RSP视角，其他RSP不定期投资幅度变化会导致市场环境动态变化，这会导致在原问题下的求解出的最优解在后续竞争的过程中发生偏移，使得最终花费偏离最初的预算约束，以及原始最优解的钱效变低。
博客
ECML-PKDD ‘25 | FCA-RL框架——基于强化学习的出行服务商动态市场环境效率保障方法
10-16 935
这套离线仿真系统将在后续开源，敬请关注。我们的方法（FCA-RL）相较于传统基线方法大幅降低了出行服务商在动态市场环境下的投资预算控制误差且提升了订单的获取效率，但依然存有局限，比如暂未考虑建模乘客对于投资的长期心智变化及长期供需变化，在未来的工作中，将会尝试将这些考虑进来。在我们的背景设定下，站在我方RSP视角，其他RSP不定期投资幅度变化会导致市场环境动态变化，这会导致在原问题下的求解出的最优解在后续竞争的过程中发生偏移，使得最终花费偏离最初的预算约束，以及原始最优解的钱效变低。
博客
ECML-PKDD ‘25 | FCA-RL框架——基于强化学习的出行服务商动态市场环境效率保障方法
10-16 447
这套离线仿真系统将在后续开源，敬请关注。我们的方法（FCA-RL）相较于传统基线方法大幅降低了出行服务商在动态市场环境下的投资预算控制误差且提升了订单的获取效率，但依然存有局限，比如暂未考虑建模乘客对于投资的长期心智变化及长期供需变化，在未来的工作中，将会尝试将这些考虑进来。在我们的背景设定下，站在我方RSP视角，其他RSP不定期投资幅度变化会导致市场环境动态变化，这会导致在原问题下的求解出的最优解在后续竞争的过程中发生偏移，使得最终花费偏离最初的预算约束，以及原始最优解的钱效变低。
博客
ECML-PKDD ‘25 | FCA-RL框架——基于强化学习的出行服务商动态市场环境效率保障方法
10-16 804
标题：Order Acquisition Under Competitive Pressure: A Rapidly Adaptive Reinforcement Learning Approach for Ride-Hailing Subsidy Strategies作者：Fangzhou Shi（史方舟）、Xiaopeng Ke（柯晓鹏）、Xinye Xiong（熊薪叶）、Kexin Meng（孟可欣）、Chang Men（门畅）、Zhengdan Zhu（朱正丹）论文链接：https://arxiv.
博客
ECML-PKDD ‘25 | FCA-RL框架——基于强化学习的出行服务商动态市场环境效率保障方法
10-16 930
这套离线仿真系统将在后续开源，敬请关注。我们的方法（FCA-RL）相较于传统基线方法大幅降低了出行服务商在动态市场环境下的投资预算控制误差且提升了订单的获取效率，但依然存有局限，比如暂未考虑建模乘客对于投资的长期心智变化及长期供需变化，在未来的工作中，将会尝试将这些考虑进来。在我们的背景设定下，站在我方RSP视角，其他RSP不定期投资幅度变化会导致市场环境动态变化，这会导致在原问题下的求解出的最优解在后续竞争的过程中发生偏移，使得最终花费偏离最初的预算约束，以及原始最优解的钱效变低。
博客
ECML-PKDD ‘25 | FCA-RL框架——基于强化学习的出行服务商动态市场环境效率保障方法
10-16 316
这套离线仿真系统将在后续开源，敬请关注。我们的方法（FCA-RL）相较于传统基线方法大幅降低了出行服务商在动态市场环境下的投资预算控制误差且提升了订单的获取效率，但依然存有局限，比如暂未考虑建模乘客对于投资的长期心智变化及长期供需变化，在未来的工作中，将会尝试将这些考虑进来。在我们的背景设定下，站在我方RSP视角，其他RSP不定期投资幅度变化会导致市场环境动态变化，这会导致在原问题下的求解出的最优解在后续竞争的过程中发生偏移，使得最终花费偏离最初的预算约束，以及原始最优解的钱效变低。
博客
ECML-PKDD ‘25 | FCA-RL框架——基于强化学习的出行服务商动态市场环境效率保障方法
10-16 851
这套离线仿真系统将在后续开源，敬请关注。我们的方法（FCA-RL）相较于传统基线方法大幅降低了出行服务商在动态市场环境下的投资预算控制误差且提升了订单的获取效率，但依然存有局限，比如暂未考虑建模乘客对于投资的长期心智变化及长期供需变化，在未来的工作中，将会尝试将这些考虑进来。在我们的背景设定下，站在我方RSP视角，其他RSP不定期投资幅度变化会导致市场环境动态变化，这会导致在原问题下的求解出的最优解在后续竞争的过程中发生偏移，使得最终花费偏离最初的预算约束，以及原始最优解的钱效变低。
博客
ECML-PKDD ‘25 | FCA-RL框架——基于强化学习的出行服务商动态市场环境效率保障方法
10-16 687
这套离线仿真系统将在后续开源，敬请关注。我们的方法（FCA-RL）相较于传统基线方法大幅降低了出行服务商在动态市场环境下的投资预算控制误差且提升了订单的获取效率，但依然存有局限，比如暂未考虑建模乘客对于投资的长期心智变化及长期供需变化，在未来的工作中，将会尝试将这些考虑进来。在我们的背景设定下，站在我方RSP视角，其他RSP不定期投资幅度变化会导致市场环境动态变化，这会导致在原问题下的求解出的最优解在后续竞争的过程中发生偏移，使得最终花费偏离最初的预算约束，以及原始最优解的钱效变低。
博客
ECML-PKDD ‘25 | FCA-RL框架——基于强化学习的出行服务商动态市场环境效率保障方法
10-16 616
这套离线仿真系统将在后续开源，敬请关注。我们的方法（FCA-RL）相较于传统基线方法大幅降低了出行服务商在动态市场环境下的投资预算控制误差且提升了订单的获取效率，但依然存有局限，比如暂未考虑建模乘客对于投资的长期心智变化及长期供需变化，在未来的工作中，将会尝试将这些考虑进来。在我们的背景设定下，站在我方RSP视角，其他RSP不定期投资幅度变化会导致市场环境动态变化，这会导致在原问题下的求解出的最优解在后续竞争的过程中发生偏移，使得最终花费偏离最初的预算约束，以及原始最优解的钱效变低。
博客
ECML-PKDD ‘25 | FCA-RL框架——基于强化学习的出行服务商动态市场环境效率保障方法
10-16 1010
这套离线仿真系统将在后续开源，敬请关注。我们的方法（FCA-RL）相较于传统基线方法大幅降低了出行服务商在动态市场环境下的投资预算控制误差且提升了订单的获取效率，但依然存有局限，比如暂未考虑建模乘客对于投资的长期心智变化及长期供需变化，在未来的工作中，将会尝试将这些考虑进来。在我们的背景设定下，站在我方RSP视角，其他RSP不定期投资幅度变化会导致市场环境动态变化，这会导致在原问题下的求解出的最优解在后续竞争的过程中发生偏移，使得最终花费偏离最初的预算约束，以及原始最优解的钱效变低。
博客
ECML-PKDD ‘25 | FCA-RL框架——基于强化学习的出行服务商动态市场环境效率保障方法
10-16 868
这套离线仿真系统将在后续开源，敬请关注。我们的方法（FCA-RL）相较于传统基线方法大幅降低了出行服务商在动态市场环境下的投资预算控制误差且提升了订单的获取效率，但依然存有局限，比如暂未考虑建模乘客对于投资的长期心智变化及长期供需变化，在未来的工作中，将会尝试将这些考虑进来。在我们的背景设定下，站在我方RSP视角，其他RSP不定期投资幅度变化会导致市场环境动态变化，这会导致在原问题下的求解出的最优解在后续竞争的过程中发生偏移，使得最终花费偏离最初的预算约束，以及原始最优解的钱效变低。
博客
ECML-PKDD ‘25 | FCA-RL框架——基于强化学习的出行服务商动态市场环境效率保障方法
10-16 719
标题：Order Acquisition Under Competitive Pressure: A Rapidly Adaptive Reinforcement Learning Approach for Ride-Hailing Subsidy Strategies作者：Fangzhou Shi（史方舟）、Xiaopeng Ke（柯晓鹏）、Xinye Xiong（熊薪叶）、Kexin Meng（孟可欣）、Chang Men（门畅）、Zhengdan Zhu（朱正丹）论文链接：https://arxiv.
博客
ECML-PKDD ‘25 | FCA-RL框架——基于强化学习的出行服务商动态市场环境效率保障方法
10-16 1028
这套离线仿真系统将在后续开源，敬请关注。我们的方法（FCA-RL）相较于传统基线方法大幅降低了出行服务商在动态市场环境下的投资预算控制误差且提升了订单的获取效率，但依然存有局限，比如暂未考虑建模乘客对于投资的长期心智变化及长期供需变化，在未来的工作中，将会尝试将这些考虑进来。在我们的背景设定下，站在我方RSP视角，其他RSP不定期投资幅度变化会导致市场环境动态变化，这会导致在原问题下的求解出的最优解在后续竞争的过程中发生偏移，使得最终花费偏离最初的预算约束，以及原始最优解的钱效变低。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值