【实战】Kafka Connector用debezium读取mysql的Binlog实时同步Kafka映射成FlinkSql表

最新推荐文章于 2025-06-10 15:03:15 发布
最新推荐文章于 2025-06-10 15:03:15 发布
阅读量1.9k 收藏 7
点赞数 1
CC 4.0 BY-SA版权
分类专栏： flink kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/spark9527/article/details/117333680
本文介绍了如何通过Kafka Connector的Debezium插件，实现实时从MySQL Binlog同步数据到Kafka，再利用FlinkSQL将Kafka中的数据映射为表。整个过程包括Kafka Connect的启动和配置、Debezium的安装、MySQL Binlog监控以及FlinkSQL的映射操作。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目的：实时同步mysql的数据，之前是通过flink-cdc实现，但是flink-cdc需要编写代码，维护起来相对来说较为麻烦。现在直接采用kafkaconnect来进行，操作简单便于维护

一、前期准备

软件版本

mysql 5.7.30
kafka 2.2.1-cdh6.3.2
Flink 12.2.2

Debezium连接器

debezium 1.5.0

相关介绍

Debezium是一个开源项目，为捕获数据更改(change data capture,CDC)提供了一个低延迟的流式处理平台。你可以安装并且配置Debezium去监控你的数据库，然后你的应用就可以消费对数据库的每一个行级别(row-level)的更改。

二、整体流程设计

图示如下

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3WMTgxQO-1622107688994)(C:\Users\ADMINI~1\AppData\Local\Temp\1622095683852.png)]

1、源数据位于mysql中

2、通过debezium捕获数据更改

3、传输mysql的变化信息

4、消费kafka，将其映射成为一张表

三、分步骤测试

1、kafka connnect启动与测试

1.1 进入kafka配置目录
cd /opt/cloudera/parcel
最低0.47元/天 解锁文章

200万优质内容无限畅学
利用debezium、kafka connector 解析 mysql binlog 到 kafak
gmHappy
09-09 522
一、需求 需要搭建一个可以自动监听MySQL数据库变化，并将变化的数据捕获，发送至指定主题的数据监控（审计）平台 二、所需技术 debezium ：https://debezium.io/documentation/reference/1.6/tutorial.html kafka：http://kafka.apache.org/ zookeeper : http://zookeeper.apache.org/ mysql 5.7/8： https://www.mysql.com/ 三、环境准备 3.1
Debezium系列之：Debezium3版本Mysql数据类型映射
zhengzaifeidelushang的博客
11-07 191
Debezium系列之：Debezium3版本Mysql数据类型映射
用kafka接收mysql的binlog消息
hangkong128的博客
10-30 3838
1、更改mysql的参数，并重新启动mysql 更改my.cnf，主要更改如下的选项 binlog_format=row 2、下载maxwell 源代码:https://github.com/zendesk/maxwell 直接下载安装包:https://github.com/zendesk/maxwell/releases/download/v1.19.0/maxwell-1.19.0.ta...
深入剖析Debezium：CDC领域的“数据魔法棒”
最新发布
m0_71836706的博客
06-10 1188
目前，市面上已经涌现出了许多优秀的 CDC 中间件，它们各具特色和优势，为企业提供了丰富的选择。比如阿里巴巴开源的 Canal，它通过模拟 MySQL 主从复制的原理，从 MySQL 的二进制日志（binlog）中解析出数据变更信息，实现了高效的数据捕获和同步。Canal 在国内拥有广泛的用户群体，尤其是在一些对数据一致性要求较高的互联网企业中得到了大量应用。
Kafka接收mysql binlog日志
qq_33044969的博客
07-27 1051
在生产者终端输入字符串，消费者终端会进行输出。下载压缩包，我下载的是1.19.0 版本。(3)、启动生产者进程和消费者进程。(1)、安装Kafka。(2)、创建事件单元。
debezium获取mysql binlog通过kafka实现mysql同步
pioneer的博客
08-22 3253
目标是实现mysql通过binlog的同步 安装confluent 下载地址地址 解压tar -zxvf confluent-5.1.2-2.11.tar.gz 进入到confluent中 快速启动 ZooKeeper,Kafka,Schema Registry,Control Center,Kafka Connect,Kafka REST Proxy,KSQL。 ./bin/conflue...
kafka connect+debezium(binlog)，解析binlog至kafka
nilin99的博客
10-13 9573
在已知kafka connect和debezium作用，会使用kafka的基础上，学会使用debezium来读取binlog，并通过kafka connect将读取的内容放入kafka topic中。 基于kafka0.10.0和Debezium0.6,mysql5.6
Bireme实时同步mysql数据，debezium+kafka+bireme，同步到Greenplum，MongoDB，PostgreSQL
qq_33805714的博客
12-10 1464
1、Bireme简介。 Bireme 是一个 Greenplum / HashData 数据仓库的增量同步工具。目前支持 MySQL、PostgreSQL 和 MongoDB 数据源 文档官方：https://github.com/HashDataInc/bireme/blob/master/README_zh-cn.md Bireme工作原理 Bireme 从数据源读取数据 (Record)，将其转化为内部格式 (Row) 并缓存，当缓存数据达到一定量，将这些数据合并为一个任务 (Task)，每个.
ElasticSearch实战（四十八）-Debeizum 实现 MySQL 数据实时同步方案
专注基础架构领域
09-25 925
前文我们通过 Canal 来实时同步数据，Debeizum 是一种比 Canal 更好的实时同步方案，它底层是基于 Kafka-connect 为核心构建的，可以完美对接 Kafka 家族生态，上游支持接入MongoDB、MySQL、PostgreSQL、SQL Server、Oracle、Db2、Cassandra、Vitess，下游是只支持接入 Kafka，然后我们再从 Kafka 中消费数据，可以选择 Kafka-connect 也可以选择 Logstash 来再做一层数据清洗，
Debezium系列之：Flink SQL消费Debezium数据格式，同步数据到下游存储系统
zhengzaifeidelushang的博客
12-21 1905
Debezium系列之：Flink SQL消费Debezium数据格式，同步数据到下游存储系统
kafka connector mysql_debezium、kafka connector 解析 mysql binlog 到 kafak
weixin_39830303的博客
01-20 375
目的： 需要搭建一个可以自动监听MySQL数据库的变化，将变化的数据捕获处理，此处只讲解如何自动捕获mysql 中数据的变化使用的技术一、思路需要一台 Centos 7.x 的虚拟机 ，zk、debezium、kafka、confluent 运行在 虚拟机上 ，mysql 运行在 windows 系统上，虚拟机监听 window 环境下的 mysql 数据变化二、MySQL 环境准备首先需要找到 ...
kafka+debezium 监听mysql日志
2301_81431930的博客
06-27 396
拉去kafka，连接zookeeper。要启动kafka，需要有一个注册中心。2、启动zookeeper。4、Debezium 配置。简介：使用kafka+1、安装docker。
FlinkCdc--Debezium实现Kafka实时监控mysql binlog日志
atguigu_Jack的博客
11-23 4172
不管是什么大数据组件大部分都分单机和集群模式，这次我配置的是kafka集群监控mysql binlog日志 一.Zookeeper和Kafka集群部署 我的服务器是三台节点aliyun-bigdata-01aliyun-bigdata-02aliyun-bigdata-03 1.第一步实现kafka集群部署和zookeeper集群部署先启动zookeeper再启动kafka,涉及的相关组件如下图所示，去网盘下载 debezium-connector-mysql-1.4.0.Final-p...
kafka身份认证 maxwell_Maxwell读取MySQL binlog日志到Kafka
weixin_42298332的博客
01-16 271
启动MySQL创建maxwell的数据库和用户在MySQL中创建一个测试数据库和表启动Zookeeper[hadoop@hadoop001 ~]$ cd $ZK_HOME/bin[hadoop@hadoop001 bin]$ ./zkServer.sh start启动kafka，并创建主题为maxwell的topic[hadoop@hadoop001 bin]$ cd $KAFKA_HOME//查...
实时抽取mysql的binlog日志到kafka的详细配置方法
十色花的博客
12-21 4325
完美使用canal实时抽取binlog日志到kafka的详细配置 # 第一步 数据库my.ini参数 设置binlog_format=ROW # 第二步 数据库赋权 CREATE USER canal IDENTIFIED BY 'canal'; GRANT SELECT, SHOW VIEW, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO ...
解析mysql的binlog日志并推送到Kafka实时消费
mrsimpleLi的博客
07-21 2154
Maxwell简介
Debezium获取MySQL Binlog
chenxie2031的博客
06-05 1339
安装Zookeeper：https://my.oschina.net/jerval/blog/3057528 安装Kafka：https://my.oschina.net/jerval/blog/3057502 下载MySQL Connector plugin archive：https:...
获取mysql binlog_Debezium获取MySQL Binlog
weixin_33321522的博客
01-19 389
>>创建Kafka插件路径：# mkdir -p /usr/local/share/kafka/plugins>>解压debeziumtar -zxvf /00temp/debezium-connector-mysql-0.9.5.Final-plugin.tar.gz -C /usr/local/share/kafka/plugins>>修改MySQL配置# ...
使用Kafka订阅数据库的实时Binlog
吴就业
11-13 7829
订阅Binlog的目的在于，实现实时的缓存更新、处理复杂逻辑数据实时同步到Elasticsearch/其它库-表等业务场景。本篇内容包括：一种在应用...
如何使用FlinkSQL结合Debezium实现MySQL到Kafka的数据实时同步？请详细说明流程和关键配置。
10-31
要实现MySQL到Kafka的数据实时同步，你需要使用FlinkSQL结合Debezium进行Change Data Capture（CDC）。首先，你需要安装并配置Debezium作为MySQL的变更数据捕获工具。Debezium通过连接到MySQL的binlog来监听数据变化，并将这些变化以消息的形式发送到Kafka主题中。 参考资源链接：[FlinkSQL CDC：实时数据同步与日志变更捕获解析](https://wenku.youkuaiyun.com/doc/6451cd45ea0840391e73846f?spm=1055.2569.3001.10343) 具体步骤如下： 1. **安装Debezium**：首先在你的环境中部署Debezium连接器，并确保它可以访问MySQL实例。配置Debezium连接器时，需要指定要监听的数据库、表和binlog的位置。 2. **配置Kafka**：Debezium会将捕获的数据变化推送到Kafka主题。因此，你需要配置Kafka集群，并创建相应的主题以接收Debezium发送的数据。 3. **构建Flink应用**：接下来，你需要开发一个Flink应用来读取Kafka中的数据变更消息。通过Flink的Kafka消费者API，你可以从Kafka主题中读取消息流。 4. **实现数据同步逻辑**：使用FlinkSQL对消息流进行处理，将数据变化应用到目标系统。这通常涉及到编写FlinkSQL查询，将变化数据转换成目标系统的格式，并将其写入目标存储系统。 5. **测试和部署**：在本地或测试环境中验证你的Flink应用能够正确读取Kafka消息并同步到目标系统。确认无误后，可以将应用部署到生产环境。 关键配置包括： - **Debezium的配置文件**：在配置文件中定义要捕获的数据库和表，以及其他Debezium特定的参数，如server.id、binlog.format等。 - **Kafka消费者的配置**：在Flink应用中配置Kafka消费者，包括主题、连接信息、offset的处理策略等。 - **FlinkSQL的查询**：编写FlinkSQL查询，处理数据流并将其同步到目标系统，可能需要使用到FlinkSQL的内置函数和连接器。 通过遵循这些步骤和配置，你可以利用FlinkSQL和Debezium实现MySQL到Kafka的实时数据同步。这不仅能够保证数据的实时性和一致性，而且可以有效地解决传统双写或多写策略带来的问题。更多细节和高级配置，请参考《FlinkSQL CDC：实时数据同步与日志变更捕获解析》。这份资料提供了从理论到实践的全面讲解，帮助你深入理解FlinkSQL CDC的工作原理及其在实际项目中的应用。 参考资源链接：[FlinkSQL CDC：实时数据同步与日志变更捕获解析](https://wenku.youkuaiyun.com/doc/6451cd45ea0840391e73846f?spm=1055.2569.3001.10343)
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值