u011611051的博客

Flink 中有两个 Exactly-Once 语义实现，一个是 Kafka，另一个是 StreamingFileSink。参考他们实现的逻辑，来自定义实现MySQLSink的端到端exactly-once语义。分析：Flink的checkpoint机制（通过Chandy-Lamport）：JobManager的CheckpointCoordinator通过在stream中添加barrier，当barrier前的数据的所有operator的checkpoint都操作完成并返回Checkpoi

需求：事件流（kafka中）：userID,eventTime,eventType,productID广播流（mysql中）：userID,userName,userAge根据广播流中的用户数据将事件流中的数据补全，修改广播流中的数据，结果实时更新：userID,eventTime,eventType,productID,userName,userAge实现方法：1.flink消费kafka数据，用mapfunction处理数据时直接查询mysql中的数据进行补全，性能差，因为每次新到一