【实战】Kafka Connector用debezium读取mysql的Binlog实时同步Kafka映射成FlinkSql表

最新推荐文章于 2024-06-27 15:12:18 发布
原创 最新推荐文章于 2024-06-27 15:12:18 发布 · 1.9k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了如何通过Kafka Connector的Debezium插件，实现实时从MySQL Binlog同步数据到Kafka，再利用FlinkSQL将Kafka中的数据映射为表。整个过程包括Kafka Connect的启动和配置、Debezium的安装、MySQL Binlog监控以及FlinkSQL的映射操作。

目的：实时同步mysql的数据，之前是通过flink-cdc实现，但是flink-cdc需要编写代码，维护起来相对来说较为麻烦。现在直接采用kafkaconnect来进行，操作简单便于维护

一、前期准备

软件版本

mysql 5.7.30
kafka 2.2.1-cdh6.3.2
Flink 12.2.2

Debezium连接器

debezium 1.5.0

相关介绍

Debezium是一个开源项目，为捕获数据更改(change data capture,CDC)提供了一个低延迟的流式处理平台。你可以安装并且配置Debezium去监控你的数据库，然后你的应用就可以消费对数据库的每一个行级别(row-level)的更改。

二、整体流程设计

图示如下

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3WMTgxQO-1622107688994)(C:\Users\ADMINI~1\AppData\Local\Temp\1622095683852.png)]

1、源数据位于mysql中

2、通过debezium捕获数据更改

3、传输mysql的变化信息

4、消费kafka，将其映射成为一张表

三、分步骤测试

1、kafka connnect启动与测试

1.1 进入kafka配置目录
cd /opt/cloudera/parcel
最低0.47元/天 解锁文章
利用debezium、kafka connector 解析 mysql binlog 到 kafak
gmHappy
09-09 633
一、需求 需要搭建一个可以自动监听MySQL数据库变化，并将变化的数据捕获，发送至指定主题的数据监控（审计）平台 二、所需技术 debezium ：https://debezium.io/documentation/reference/1.6/tutorial.html kafka：http://kafka.apache.org/ zookeeper : http://zookeeper.apache.org/ mysql 5.7/8： https://www.mysql.com/ 三、环境准备 3.1
Debezium系列之：Debezium3版本Mysql数据类型映射
zhengzaifeidelushang的博客
11-07 281
Debezium系列之：Debezium3版本Mysql数据类型映射
debezium获取mysql binlog通过kafka实现mysql同步
pioneer的博客
08-22 3290
目标是实现mysql通过binlog的同步 安装confluent 下载地址地址 解压tar -zxvf confluent-5.1.2-2.11.tar.gz 进入到confluent中 快速启动 ZooKeeper,Kafka,Schema Registry,Control Center,Kafka Connect,Kafka REST Proxy,KSQL。 ./bin/conflue...
用kafka接收mysql的binlog消息
hangkong128的博客
10-30 3871
1、更改mysql的参数，并重新启动mysql 更改my.cnf，主要更改如下的选项 binlog_format=row 2、下载maxwell 源代码:https://github.com/zendesk/maxwell 直接下载安装包:https://github.com/zendesk/maxwell/releases/download/v1.19.0/maxwell-1.19.0.ta...
Kafka接收mysql binlog日志
qq_33044969的博客
07-27 1108
在生产者终端输入字符串，消费者终端会进行输出。下载压缩包，我下载的是1.19.0 版本。(3)、启动生产者进程和消费者进程。(1)、安装Kafka。(2)、创建事件单元。
kafka connect+debezium(binlog)，解析binlog至kafka
nilin99的博客
10-13 9680
在已知kafka connect和debezium作用，会使用kafka的基础上，学会使用debezium来读取binlog，并通过kafka connect将读取的内容放入kafka topic中。 基于kafka0.10.0和Debezium0.6,mysql5.6
kafka connector mysql_debezium、kafka connector 解析 mysql binlog 到 kafak
weixin_39830303的博客
01-20 407
目的： 需要搭建一个可以自动监听MySQL数据库的变化，将变化的数据捕获处理，此处只讲解如何自动捕获mysql 中数据的变化使用的技术一、思路需要一台 Centos 7.x 的虚拟机 ，zk、debezium、kafka、confluent 运行在 虚拟机上 ，mysql 运行在 windows 系统上，虚拟机监听 window 环境下的 mysql 数据变化二、MySQL 环境准备首先需要找到 ...
Bireme实时同步mysql数据，debezium+kafka+bireme，同步到Greenplum，MongoDB，PostgreSQL
qq_33805714的博客
12-10 1521
1、Bireme简介。 Bireme 是一个 Greenplum / HashData 数据仓库的增量同步工具。目前支持 MySQL、PostgreSQL 和 MongoDB 数据源 文档官方：https://github.com/HashDataInc/bireme/blob/master/README_zh-cn.md Bireme工作原理 Bireme 从数据源读取数据 (Record)，将其转化为内部格式 (Row) 并缓存，当缓存数据达到一定量，将这些数据合并为一个任务 (Task)，每个.
ElasticSearch实战（四十八）-Debeizum 实现 MySQL 数据实时同步方案
专注基础架构领域
09-25 1065
前文我们通过 Canal 来实时同步数据，Debeizum 是一种比 Canal 更好的实时同步方案，它底层是基于 Kafka-connect 为核心构建的，可以完美对接 Kafka 家族生态，上游支持接入MongoDB、MySQL、PostgreSQL、SQL Server、Oracle、Db2、Cassandra、Vitess，下游是只支持接入 Kafka，然后我们再从 Kafka 中消费数据，可以选择 Kafka-connect 也可以选择 Logstash 来再做一层数据清洗，
Debezium系列之：Flink SQL消费Debezium数据格式，同步数据到下游存储系统
zhengzaifeidelushang的博客
12-21 2043
Debezium系列之：Flink SQL消费Debezium数据格式，同步数据到下游存储系统
kafka+debezium 监听mysql日志
2301_81431930的博客
06-27 475
拉去kafka，连接zookeeper。要启动kafka，需要有一个注册中心。2、启动zookeeper。4、Debezium 配置。简介：使用kafka+1、安装docker。
FlinkCdc--Debezium实现Kafka实时监控mysql binlog日志
atguigu_Jack的博客
11-23 4285
不管是什么大数据组件大部分都分单机和集群模式，这次我配置的是kafka集群监控mysql binlog日志 一.Zookeeper和Kafka集群部署 我的服务器是三台节点aliyun-bigdata-01aliyun-bigdata-02aliyun-bigdata-03 1.第一步实现kafka集群部署和zookeeper集群部署先启动zookeeper再启动kafka,涉及的相关组件如下图所示，去网盘下载 debezium-connector-mysql-1.4.0.Final-p...
kafka身份认证 maxwell_Maxwell读取MySQL binlog日志到Kafka
weixin_42298332的博客
01-16 300
启动MySQL创建maxwell的数据库和用户在MySQL中创建一个测试数据库和表启动Zookeeper[hadoop@hadoop001 ~]$ cd $ZK_HOME/bin[hadoop@hadoop001 bin]$ ./zkServer.sh start启动kafka，并创建主题为maxwell的topic[hadoop@hadoop001 bin]$ cd $KAFKA_HOME//查...
实时抽取mysql的binlog日志到kafka的详细配置方法
十色花的博客
12-21 4355
完美使用canal实时抽取binlog日志到kafka的详细配置 # 第一步 数据库my.ini参数 设置binlog_format=ROW # 第二步 数据库赋权 CREATE USER canal IDENTIFIED BY 'canal'; GRANT SELECT, SHOW VIEW, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO ...
解析mysql的binlog日志并推送到Kafka实时消费
mrsimpleLi的博客
07-21 2196
Maxwell简介
Debezium获取MySQL Binlog
chenxie2031的博客
06-05 1386
安装Zookeeper：https://my.oschina.net/jerval/blog/3057528 安装Kafka：https://my.oschina.net/jerval/blog/3057502 下载MySQL Connector plugin archive：https:...
获取mysql binlog_Debezium获取MySQL Binlog
weixin_33321522的博客
01-19 408
>>创建Kafka插件路径：# mkdir -p /usr/local/share/kafka/plugins>>解压debeziumtar -zxvf /00temp/debezium-connector-mysql-0.9.5.Final-plugin.tar.gz -C /usr/local/share/kafka/plugins>>修改MySQL配置# ...
使用Kafka订阅数据库的实时Binlog
吴就业
11-13 7951
订阅Binlog的目的在于，实现实时的缓存更新、处理复杂逻辑数据实时同步到Elasticsearch/其它库-表等业务场景。本篇内容包括：一种在应用...
kafka能实现MySQL到Oracle数据的实时同步吗？
最新发布
04-11
<think>好的，我现在需要回答用户关于使用Kafka实现MySQL到Oracle数据实时同步的方案和工具的问题。首先，我得回忆一下Kafka在数据同步中的作用。Kafka作为消息队列，主要用于解耦生产者和消费者，实现高吞吐量的数据传输。所以，实时同步的关键在于如何捕获MySQL的数据变更，并通过Kafka传递到Oracle。 用户提到的引用中有提到Canal用于MySQL同步，而Oracle可以用LogMiner。但用户现在是从MySQL到Oracle，所以可能需要结合两者的工具。首先，我需要确定如何捕获MySQL的变更。Canal确实是一个开源工具，可以监控MySQL的binlog，然后将变更事件发送到Kafka。这部分应该是可行的。 接下来，数据到了Kafka之后，如何消费这些数据并写入Oracle呢？可能需要一个消费者应用，或者使用Kafka Connect。根据引用[1]和[4]，Kafka Connect可以配置sink连接器，比如将数据从Kafka同步到DolphinDB或其他数据库。不过Oracle的sink连接器可能需要特定的实现。Tapdata Cloud在引用[4]中提到支持多种数据库同步，包括Oracle，所以这可能是一个工具选项。 另外，用户引用[3]和[4]提到使用Tapdata Cloud进行实时同步，可能这是一个可行的方案。需要检查Tapdata是否支持MySQL到Oracle的实时同步，并且是否利用Kafka作为中间件。根据引用[4]，Tapdata配置源和目标连接后，可以选择同步模式，可能内部使用了Kafka或者类似的消息队列。 还需要考虑数据转换的问题，因为MySQL和Oracle的数据类型可能不同，需要在同步过程中进行转换。例如，时间戳格式、数值类型等差异。这可能需要在使用Kafka Connect时配置转换器，或者在消费者应用中处理。 另外，关于性能方面，实时同步需要低延迟和高吞吐。Kafka本身适合处理高吞吐，但消费者写入Oracle的速度也很重要。可能需要优化Oracle的写入操作，比如批量插入、使用事务等。 总结步骤应该是：捕获MySQL变更（Canal）→ 发布到Kafka → 消费Kafka数据并写入Oracle（通过Kafka Connect或自定义消费者，或者使用Tapdata这样的工具）。同时需要处理数据转换和确保数据一致性。 可能还需要考虑故障恢复机制，比如断点续传，确保在系统崩溃后能从上次的位置继续同步。Kafka的消费者组机制可以帮忙记录偏移量，但写入Oracle的部分也需要事务支持来保证数据不丢失。 工具方面，除了Canal和Kafka Connect，可能还有Debezium，不过Debezium主要针对MySQL的CDC，但同样可以作为源连接器，将数据发送到Kafka，然后通过Oracle的sink连接器处理。需要确认是否有现成的Oracle sink连接器，或者需要自己开发。 最后，用户的问题可能希望得到一个具体的方案步骤和工具推荐，所以需要将这些思路整理成清晰的步骤，并提到可用的工具如Canal、Kafka Connect、Tapdata等，同时引用提供的参考资料来支持答案的可信度。</think>### Kafka实现MySQL到Oracle数据实时同步方案 Kafka可通过**变更数据捕获（CDC）**技术实现MySQL到Oracle的实时同步，核心流程分为**数据捕获→消息传递→数据写入**三个阶段，具体方案如下： --- #### 一、技术选型与工具 1. **数据捕获层（MySQL端）** - **Canal**：阿里开源的MySQL增量日志解析工具，通过模拟Slave协议读取binlog，生成变更事件（INSERT/UPDATE/DELETE），支持推送到Kafka[^2][^4]。 - **Debezium**：另一种CDC工具，通过Kafka Connect插件直接对接MySQL binlog，将变更事件写入Kafka[^4]。 2. **消息队列层（Kafka）** - 接收Canal或Debezium发送的变更事件，按Topic存储数据，确保高吞吐和低延迟。 3. **数据写入层（Oracle端）** - **Kafka Connect**：使用Oracle Sink Connector（如**JDBC Sink Connector**或**Oracle GoldenGate**）消费Kafka消息并写入Oracle。 - **自定义消费者程序**：通过Java/Python编写消费者，解析Kafka消息后调用Oracle JDBC接口写入数据。 - **Tapdata Cloud**：一站式数据同步平台，支持MySQL→Kafka→Oracle全流程配置，无需编码[^3][^4]。 --- #### 二、具体实现步骤 1. **配置MySQL CDC** - 启用MySQL的`binlog`并设置为`ROW`模式： ```sql # my.cnf配置 server-id = 1 log_bin = /var/lib/mysql/mysql-bin.log binlog_format = ROW ``` - 使用Canal或Debezium监听binlog，将变更事件推送到Kafka Topic。 2. **Kafka消息格式设计** - 消息需包含表名、操作类型（增删改）、变更前后的数据。例如： ```json { "database": "test_db", "table": "orders", "type": "UPDATE", "before": {"id": 1, "amount": 100}, "after": {"id": 1, "amount": 200} } ``` 3. **Oracle端数据写入** - **Kafka Connect JDBC Sink**配置示例： ```properties name=oracle-sink connector.class=io.confluent.connect.jdbc.JdbcSinkConnector connection.url=jdbc:oracle:thin:@//host:1521/service connection.user=user connection.password=pass topics=mysql_test_db.orders pk.mode=record_value pk.fields=id insert.mode=upsert ``` - **Tapdata Cloud**：通过可视化界面配置源（MySQL）和目标（Oracle），选择增量同步模式[^4]。 --- #### 三、关键问题与优化 1. **数据一致性** - 使用**事务性消息**：确保Kafka消息生产与Oracle写入原子性。 - **幂等写入**：通过主键去重或Oracle的`MERGE`语句避免重复数据[^4]。 2. **异构数据处理** - **类型转换**：将MySQL的`DATETIME`转为Oracle的`DATE`，`TINYINT`转为`NUMBER`等。 - **Schema映射**：通过工具（如Tapdata）自动处理表结构差异[^4]。 3. **性能优化** - Kafka分区并行消费，提升吞吐量。 - Oracle端使用批量插入（如JDBC的`addBatch()`）。 --- #### 四、工具对比 | 工具 | 优点 | 缺点 | |----------------|-----------------------------|-----------------------------| | **Canal+Kafka** | 开源灵活，适合定制化场景 | 需自行开发Oracle写入逻辑 | | **Debezium** | 与Kafka Connect原生集成 | Oracle Sink Connector需额外配置 | | **Tapdata** | 零代码、可视化，支持复杂异构转换[^4] | 企业版功能需付费 | --- 相关问题
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值