flink-sql
文章平均质量分 93
darkness0604
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
FlinkSQL平台化之路-StreamX提交源码剖析
前言背景在公司里做实时计算开发,之前大部分job都采用的是基于java的streaming编程方式进行的,这样的好处很明显:足够灵活,可以应对各种复杂的实时分析场景,但缺点也很明显:上手存在门槛,需要懂code,如果是一个逻辑简单的计算需求,用code整体编写起来的方式,会让整个流程也略显笨重…于是我开始想,目前的公司流式开发的流程也趋于稳定了,而对于后续接近来的需求,如果可以用SQL解决,就尽可能用SQL解决,这样无论是从开发成本或者是未来如果版本升级造成的迁移成本都会有一个明显的降低。而如果单纯通原创 2022-03-23 16:52:03 · 4088 阅读 · 2 评论 -
一次TOPN需求带来的历险-与Flink SQL的爱恨情仇
背景最近接到一个需求,算是一个比较常见的需求,我们公司的业务会涉及到直播,因此直播自然避免不了高并发的房间内发消息,因此业务端给出的需求就是:实时得为业务端提供近10s内的每个房间的消息总数TOP20, 业务端会根据TOP前几进行相应的限流的一系列操作。思考其实接到这个需求,我的思考实现方式是这样的:1、先求出每个房间的近10s的消息总数2、将第一步得到的每个房间的近10s的消息总数进行汇总,排序,从而得出最终结果: 近10s内,消息数TOP10的房间是哪些可以看到上面的每一步,都对应一个时间范原创 2021-12-10 15:05:07 · 1780 阅读 · 1 评论
分享