1.生产主流的大数据实时数据源同步中间件:
主要有Canal和Maxwell,它们都是数据同步工具。
1.1中间件的作用:
Mysql 》Maxwell|Canal》Kafka===》??==》存储端(数仓)HBase|Kudu|Cassandra|Hive
将数据增删改操作实时的同步到另一端。
1.2Canal:
- 由阿里推出的开源的大数据实时数据源同步中间件
- 源码地址:https://github.com/alibaba/canal
客户端:syncClient
1.3Maxwell:
- 老外写的开源的的大数据实时数据源同步中间件
- 源码地址:https://github.com/zendesk/maxwell
2.对比选择
-
主要区别:
1、虽然Maxwell不能直接支持HA,但是它支持断点还原,即错误解决后重启继续上次点儿读取数据。
2、