本文介绍了数据库变更捕获（CDC）技术，包括基于binlog的Flink CDC、Maxwell和Canal。Flink CDC具有多库多表支持和高可用性优点。接着，文章讨论了分布式SQL查询引擎Presto，其适用于秒级查询，不依赖预计算，支持多种数据源。此外，还提到了与Presto相似但具备更强SQL兼容性和ODBC支持的OpenLookeng，以及与Presto性能相仿的Impala。
flinkcdc、maxwell、canal
-
CDC是change data capture，核心思想是：监测并捕获数据库的变动（包括数据或数据表的插入、更新、删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。
-
CDC主要分为基于查询和基于binlog 两种方式。
-
- 基于查询：sqoop，批处理，不能捕捉所有数据变化，延迟较高，且增加了数据库的压力。
- 基于binlog：maxwell canal flinkcdc：流处理，能捕捉所有数据变化，低延迟，不增加数据库压力。
-
Maxwell是 实时读取mysql二进制日志binlog，并生成json格式的消息，作为生产者发送给kafka等。 把自己伪装程 mysql的一个slave，以slave的身份假装从master复制数据。
-
canal是同于java开发的 数据库增量日志解析，主要是对mysql 的binlog进行解析。
-
flinkcdc的优点：可以 多库多表，只要集群高可用&#
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
