超级会员免费看
本文探讨了Flink中两种事务写入方式：预写日志和两阶段提交。预写日志利用checkpoint批量写入，可能造成批处理延迟；两阶段提交则逐条预提交数据，确保事务性。Flink的TwoPhaseCommitSinkFunction接口用于实现两阶段提交。外部sink系统需支持事务且超时时间需匹配，以防止数据丢失。对比不同源和sink的一致性策略，预写日志和两阶段提交能实现不同程度的数据一致性保证。
然后我们来看事务写入,有两种方式,可以看到是预写日志 和两阶段提交.
可以看到sink中的事务,也具有原子性对吧
预写日志,可以看到他的思想就是,利用checkpoint,当checkpoint的完成的时候,再把数据,一次性的
写入到sink系统中去,因为checkpoint完成了,就代表,当时处理的那个数据后面的所有的数据就
都处理完了.在checkpoint创建中的时候,先把结果数据,进行缓存,存起来,当checkpoint完成的时候,
就可以把缓存的这一批数据一起写入到sink系统,可以看到.
这个预写日志也有问题对吧,什么问题?
他把结果写出变成了,批处理了类似于对吧,因为他就是先把数据攒起来,等checkpoint,创建
完毕,这批数据完全处理没问题了的时候,才回去写出sink.
这个也相当于一个事务对吧,确认一批数据都处理没问题了再写出到sink
这里实现一个:GenericWriteAheadSink就可以了.
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
