- 博客(4)
- 收藏
- 关注
RSS订阅原创 Flink Kafka-Sink 自定义序列化器
当我监听MySQL binlog存在多库多表时，如果将每张表都写入不同的topic，则需要进行表名判断，然后写入对应的topic。那么：有没有方式，不需要手动指定 topic，根据流中的数据来自动判断应该写入对应topic？.setTopic("topic-name")，表示需要手动指定需要写入的 topic。或者，判断后进行分流操作，不同的流写入不同的topic。代码量重复，代码多，也比较麻烦。可以根据自己需求，根据库名、表名等信息，确定要写入的topic。
2024-11-07 11:10:09
371
原创 flinkCDC MySQL Source自定义序列化器
表示这是一个读取（或全量）操作。其他的操作包括 INSERT、UPDATE 和 DELETE，用于表示数据的增、改、删操作。这个自定义序列化器能满足大部分场景下的需求，也可以根据自己需求自定义序列化器。: 表示当前变更后的数据状态，包含了一些具体的字段信息。: 表示变更前的数据状态。在读取（READ）操作中，这些信息不符合我的要求，如何自定义序列化器呢？，因为这是一个初始读取，没有之前的数据快照。，表示数据库名称，这里是。，表示表名称，这里是。
2024-11-07 10:10:24
969
原创 关于flinkCDC监听MySQL binlog时自动转换datetime为时间戳问题
即：在MySQL中，FinishTime的数据类型为datetime，数据格式例如：2024-09-25 17:54:02。DateTimeConverter实现CustomConverter接口，重写对应方法对mysql的时间类型进行标准转换。可以看见，2024-09-25 17:54:02 格式被转为了时间戳格式：1727286842000。
2024-11-06 18:14:23
509
1
原创 关于Doris设置sink.enable.batch-mode攒批模式无效
kafka数据发生变更后，数据写入doris出现延迟。多次验证后，延迟时间与flink 开启 Checkpoint 时间接近。
2024-11-06 12:31:31
1126
6
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人