FlinkSQL 开发经验分享

作者：汤包

最近做了几个实时数据开发需求，也不可避免地在使用 Flink 的过程中遇到了一些问题，比如数据倾斜导致的反压、interval join、开窗导致的水位线失效等问题，通过思考并解决这些问题，加深了我对 Flink 原理与机制的理解，因此将这些开发经验分享出来，希望可以帮助到有需要的同学。

下文会介绍 3 个 case 案例，每个 case 都会划分为背景、原因分析和解决方法三部分来进行介绍。

一、Case1: 数据倾斜

数据倾斜无论是在离线还是实时中都会遇到，其定义是：在并行进行数据处理的时候，按照某些 key 划分的数据显著多余其他部分，分布不均匀，导致大量数据集中分布到一台或者某几台计算节点上，使得该部分的处理速度远低于平均计算速度，成为整个数据集处理的瓶颈，从而影响整体计算性能。造成数据倾斜的原因有很多种，如 group by 时的 key 分布不均匀，空值过多、count distinct 等，本文将只介绍 group by + count distinct 这种情况。

1.1 背景

对实时曝光流，实时统计近 24 小时创意的曝光 UV 和 PV。且每分钟更新一次数据。通用的方法就是使用 hop 滑动窗口来进行统计，代码如下：

select    Hselect    HOP_START(        ts        ,interval '1' minute        ,interval '24' hour    ) as window_start    ,HOP_END(        ts        ,interval '1' minute        ,interval '24' hour    ) as window_end    ,creative_id    ,count(distinct uid) as exp_uv  -- 计算曝光UV    ,count(uid) as exp_pv   --计算曝光PVfrom dwd_expos_detailgroup by    hop(        ts        ,interval '1' minute        ,interval '24' hour    )  -- 滑动窗口开窗，窗口范围：近24小时，滑动间隔：每1分钟    ,creative_idOP_START(        ts        ,interval '1' minute        ,interval '24' hour    ) as window_start    ,HOP_END(        ts        ,interval '1' minute        ,interval '24' hour    ) as window_end    ,creative_id    ,count(distinct uid) as exp_uv  -- 计算曝光UV    ,count(uid) as exp_pv   --计算曝光PVfrom dwd_expos_detailgroup by    hop(        ts        ,interval '1' minute        ,interval '24' hour    )  -- 滑动窗口开窗，窗口范围：近24小时，滑动间隔：每1分钟    ,creative_id

复制代码

1.2 问题及原因

问题发现

在上述 flink 程序运行的时候，该窗口聚合算子 GlobalWindowAggregate 出现长时间 busy 的情况，导致上游的算子出现反压，整个 flink 任务长时间延迟。

原因分析

一般面对反压的现象，首先要定位到出现拥堵的算子，在该 case 中，使用窗口聚合计算每个创意 id 对应的 UV 和 PV 时，出现了计算繁忙拥堵的情况。

针对这种情况，最常想到的就是以下两点原因：

• 数据量较大，但是设置的并发度过小（此任务中该算子的并发度设置为 3）

• 单个 slot 的 CPU 和内存等计算资源不足

点击拥堵算子，并查看 BackPressure，可以看到虽然并发度设置为 3，但是出现拥堵的只有 subtask0 这一个并发子任务，因此基本上可以排出上述两种猜想，如果还是不放心，可以设置增加并行度至 6，同时提高该算子上的 slot