- 博客(4)
- 收藏
- 关注
原创 记录一下关于flink窗口or定时器的问题
而无论是窗口还是定时器的计算,都是基于水位线去触发的。所以如果你的乱序时间不大,可以设置一个合理的乱序时间来处理数据。有时候定时器可以正常触发,有时候却迟迟无法触发,明明已经过去很久时间了,程序却一直没有进入ontimer方法。像博主这样的,源端数据中有2062年数据的,只能过滤掉这种脏数据或者对数据进行另外的处理了。Flink 的水位线是基于数据的事件时间生成的。窗口计算会立即触发(如果窗口的结束时间 <= 当前水位线),可能导致错误的结果。,若某条数据的事件时间是未来时间,水位线会被推到该时间。
2025-04-28 10:27:11
311
原创 Flink CDC同步Oracle无主键表
但是在实际使用过程中还是会有些不足之处,比如说同步Oracle数据库中无主键以及唯一键的表时,关于目标端的幂等性时无法保证的。修改源码如下,使之携带ROWID信息传入flink程序中,并且在目标端建表时将ROWID设置为主键。在Oracle数据库中,表中有一个伪列ROWID,而在CDC同步过来的数据中是不包含此列的。Flink CDC是一种很强大且实用的实时数据同步工具,官网如下。
2024-08-28 09:48:57
823
1
原创 myBatis查询报错 You have an error in your SQL syntax; check the manual that corresponds to your MySQL se
这么写是因为,#{}在参数注入的时候如果是字符串类型会自动给参数加上' ',所以上述sql就会变成where 1=1 'and ...'起不到查询的作用。id中的内容因为逻辑比较复杂,所以我是在java代码里进行了拼接。但是运行之后发现报错。而${}则不会,where AND id。不过${}有sql注入问题,这点需要谨记。上面这是写在xml文件里的sql语句。本意是要过滤出条件为id的数据。最终经过排查发现xml里边应该这么写。
2023-04-24 10:21:45
944
2
原创 SpringBoot整合Redis
最近pm让写微服务,里边涉及到Redis的读取。作为一个从没有接触过微服务的菜鸟,难免有些忐忑不安,于是各方面查找了一下资料,发现SpringBoot对Redis有很好的整合,有一个RedisTemplate对象可以直接操作Redis。整理了一下,需要的自取即可。
2023-02-20 20:35:38
266
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人