如何实时同步数据到StarRocks

使用Flink实时同步MySQL到StarRocks的实践

原创

已于 2022-02-10 10:50:55 修改 · 4.2k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#java #sql #flink #流处理 #大数据

于 2021-11-22 11:49:15 首次发布

我们知道，是StarRocks基于Doris开发的，它在多表连接查询的性能方面引领OLAP市场，是一个很好用的结构化数据仓库。但是一直没有很好的工具能够实现业务数据库的数据实时同步到StarRocks分布式数据仓库集群中，本文将带领读者一起来通过flink-jobs的最佳实践来构建一个易于使用和运维的，异构数据库实时同步到StarRocks集群的方案。

阅读前提

阅读本文除了需具备StarRocks相关知识之外，还会涉及Flink、Debezium、Kafka、Zookeeper、MySQL（或者PostgreSQL、Oracle、SQL Server、Db2等其中一种），最好能够自己搭建整套环境，如果不能，身边有可以利用的环境或者有朋友能帮上忙也可以。

环境准备

在192.168.100.1-3上安装zookeeper，在192.168.100.4-6上安装基于zookeeper的Flink高可用集群，具体安装配置方法请查阅Flink官网。
在192.168.100.7-9上安装基于zookeeper的kafka集群，并配置好Debezium（也可以是Canal、Maxwell等Flink支持的其他组件），安装方法详见各自官网。
在192.168.100.10上安装一个MySQL数据库，也可以安装任意Debezium支持的数据库（例如PostgreSQL、Oracle、SQL Server、Db2等）。创建一个skyline数据库，在skyline中创建product表并插入数据：