mysql数据库数据增量同步到导入ClickHouse

最新推荐文章于 2024-08-29 15:23:24 发布

向上吧！少年

最新推荐文章于 2024-08-29 15:23:24 发布

阅读量1.6k

点赞数

CC 4.0 BY-SA版权

分类专栏：问题文章标签： mysql 数据库 clickhouse 增量同步

本文链接：https://blog.youkuaiyun.com/qq_16613311/article/details/120702407

ClickHouse 可以挂载为 MySQL 的一个从库，先全量再增量的实时同步 MySQL 数据，这个功能可以说是今年最亮眼、最刚需的功能，基于它我们可以轻松的打造一套企业级解决方案，让 OLTP 和 OLAP 的融合从此不再头疼。

目前支持 MySQL 5.6/5.7/8.0 版本，兼容 Delete/Update 语句，及大部分常用的 DDL 操作。

Mysql设置

设置/etc/my.cnf

[mysqld]
basedir=/usr/local/mysql-8.0.20
datadir=/usr/local/mysql-8.0.20/data
socket=/tmp/mysql.sock
character-set-server=UTF8MB4


#开启日志
log_bin = /usr/local/mysql-8.0.20/data/mysql‐bin
#设置服务id
server_id = 1
#不记录每条sql语句的上下文信息，仅需记录哪条数据被修改了，修改成什么样了
binlog_format = ROW

gtid-mode=on
enforce-gtid-consistency=1    # 设置为主从强一致性
log-slave-updates=1   # 记录日志

#配置插件为了clickhouse可以建表
default_authentication_plugin=mysql_native_password

重启mysql

service mysql restart

创建数据库和表，并写入数据:

mysql> create database ckdb;
mysql> use ckdb;
mysql> create table t1(a int not null primary key, b int);
mysql> insert into t1 values(1,1),(2,2);
mysql> select * from t1;
+---+