自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(4)
  • 收藏
  • 关注

原创 记录一下关于flink窗口or定时器的问题

而无论是窗口还是定时器的计算,都是基于水位线去触发的。所以如果你的乱序时间不大,可以设置一个合理的乱序时间来处理数据。有时候定时器可以正常触发,有时候却迟迟无法触发,明明已经过去很久时间了,程序却一直没有进入ontimer方法。像博主这样的,源端数据中有2062年数据的,只能过滤掉这种脏数据或者对数据进行另外的处理了。Flink 的水位线是基于数据的事件时间生成的。窗口计算会立即触发(如果窗口的结束时间 <= 当前水位线),可能导致错误的结果。,若某条数据的事件时间是未来时间,水位线会被推到该时间。

2025-04-28 10:27:11 311

原创 Flink CDC同步Oracle无主键表

但是在实际使用过程中还是会有些不足之处,比如说同步Oracle数据库中无主键以及唯一键的表时,关于目标端的幂等性时无法保证的。修改源码如下,使之携带ROWID信息传入flink程序中,并且在目标端建表时将ROWID设置为主键。在Oracle数据库中,表中有一个伪列ROWID,而在CDC同步过来的数据中是不包含此列的。Flink CDC是一种很强大且实用的实时数据同步工具,官网如下。

2024-08-28 09:48:57 823 1

原创 myBatis查询报错 You have an error in your SQL syntax; check the manual that corresponds to your MySQL se

这么写是因为,#{}在参数注入的时候如果是字符串类型会自动给参数加上' ',所以上述sql就会变成where 1=1 'and ...'起不到查询的作用。id中的内容因为逻辑比较复杂,所以我是在java代码里进行了拼接。但是运行之后发现报错。而${}则不会,where AND id。不过${}有sql注入问题,这点需要谨记。上面这是写在xml文件里的sql语句。本意是要过滤出条件为id的数据。最终经过排查发现xml里边应该这么写。

2023-04-24 10:21:45 944 2

原创 SpringBoot整合Redis

最近pm让写微服务,里边涉及到Redis的读取。作为一个从没有接触过微服务的菜鸟,难免有些忐忑不安,于是各方面查找了一下资料,发现SpringBoot对Redis有很好的整合,有一个RedisTemplate对象可以直接操作Redis。整理了一下,需要的自取即可。

2023-02-20 20:35:38 266

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除