踩坑记 | Flink 事件时间语义下数据乱序丢数踩坑
踩坑记 | Flink 事件时间语义下数据乱序丢数踩坑
公众号(mangodata)里回复 flink 关键字可以获取 flink 的学习资料以及视频。
本文详细介绍了在上游使用处理时间语义的 flink 任务出现故障后,重启消费大量积压在上游的数据并产出至下游数据乱序特别严重时,下游 flink 任务使用事件时间语义时遇到的大量丢数问题以及相关的解决方案。
本文分为以下几个部分:
1.本次踩坑的应用场景
2.应用场景中发生的丢数故障分析
3.待修复的故障点
4.丢数故障解决方案及原理
5.总结
应
原创
2020-09-26 15:36:55 ·
1043 阅读 ·
0 评论