
大数据
文章平均质量分 84
baidu_26507163
这个作者很懒,什么都没留下…
展开
-
问题排查-Flink session窗口最后一个不过期问题
问题描述线上使用flink进行session窗口分析,分析结果写入db。在使用分析结果时发现实际统计数据缺少最后一条窗口的数据。排查过程查看flink写入db日志,发现没有最后一个session窗口统计数据写入的日志。猜测是flink没有触发session窗口过期,遂采取以下步骤进行问题复现和定位。联系业务系统,梳理session窗口数据来源经反馈数据来源为用户xx操作。线上环境模拟用户操作,触发session窗口数据写入业务系统有写入session窗口数据日志。查看flink写入db日志原创 2020-12-30 10:46:33 · 1218 阅读 · 1 评论 -
搭建flink任务管理ververica平台踩坑记录
搭建flink任务管理ververica平台踩坑记录坑点描述flink版本使用内部镜像而非基于alibaba开源镜像合并自定义镜像与平台提供镜像差异Deployment固定使用Application模式部署,无法指定其他部署模式坑点描述ververica平台是Ververica公司的针对flink商业产品。个人出于实践探索的目的,切实调研了一下该平台的功能。因为公司服务都部署在k8s环境中,所以搭建该平台使用了容器镜像的方式。过程中发现,这玩意上手是真不容易,坑比预想的多多了。坑点如下:flink版本原创 2020-11-20 18:33:54 · 2691 阅读 · 1 评论