CDC系列（三）、Debezium 监控MySQL操作日志实时同步到Kafka（对比canal，maxwell）

已于 2024-10-16 15:08:23 修改
阅读量1.3w 收藏 62
点赞数 13
CC 4.0 BY-SA版权
分类专栏： # Kafka 文章标签： debezium kafka mysql cdc flink
于 2020-09-25 18:04:30 首次发布
本文为博主原创文章，转载请注明出处http://blog.youkuaiyun.com/wsdc0521
本文链接：https://blog.youkuaiyun.com/wsdc0521/article/details/108799267
本文介绍如何使用 Debezium 监控 MySQL 操作日志，并实时同步到 Kafka 中。涵盖 Debezium 的安装配置、通过 Kafka Connect 启动 MySQL Connector 的步骤，以及如何验证 CDC 功能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

前言

准备工作

配置Connector

注册启动Connector

验证CDC

尾巴

CDC系列：

CDC系列（一）、Canal 集群部署及使用（带WebUI）

CDC系列（二）、Maxwell_v1.27.1 监控MySQL操作日志实时同步到Kafka

前言

前两篇我们介绍了CDC工具，以及利用Canal和Maxwell监控mysql操作日志并写入kafka，本篇我们来讲解另一个CDC工具：debezium。debezium不仅仅支持mysql的监控，目前最新版已支持mysql,postgre,mongodb,oracle,sqlserver,db2,cassandra等，它依赖于kafka connect 服务，通过kafka connect，我们可以很方便的将debezium采集到的数据库日志输出到各类目标端。

本篇我们演示如何利用kafka connect启动debezium mysql connector监控mysql 数据库操作日志并写入kafka内

准备工作

上面提到debezium依赖于kafka connect ，而且kafka connect是在0.9版本之后才由confluent团队贡献出来，因此我们必须要先安装好kafka0.9+版本，如果没有的话也可以参考我之前的文章：

由于我们要监控mysql的binlog，因此还需要一个可以访问mysql binlog权限的用户，这个操作在前面两篇有介绍就不在此赘述了。

配置Connector

1. 下载，到官方网址下载最新1.2 版debezium-mysql-connector：Debezium Release Series 1.2

2. 配置kafka connect服务

1. 在kafka目录下新建一个文件夹
mkdir /opt/app/lib_conn

2. 将下载的debezium插件上传至服务器并解压至刚才创建的目录
tar -zxvf debezium-connector-mysql-1.2.5.Final-plugin.tar.gz -C /opt/app/lib_conn

3. 修改kafka connect 配置文件
vim /opt/app/kafka/connect-standalone.properties
#----------------------
#修改下面的几个参数，其他的不变
bootstrap.servers=wykd:9092
plugin.path=/opt/app/kafka_2.11-2.4.1/lib_conn  #指向刚才放置debezium插件的目录

#这两个参数表示connect消息格式，可选json或avro，在消费的时候也需要使用对应的格式，本次我们使用json格式
key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter

3. 配置debezium mysql connector

创建debezium mysql connector插件配置文件，核心参数如下，其他参数请参考官方手册：mysql-connector-configuration-properties_debezium

#修改kafka connect 配置文件
vim /opt/app/kafka/connect-debezium-mysql-wyk-csdn.properties
#----------------------
name=wyk_csdn_mysql_debezium_connector    #connector 名称，唯一
connector.class=io.debezium.connector.mysql.MySqlConnector  #connector 插件
database.hostname=wykd        #数据库host
database.port=3306            #数据库port
database.user=root            #数据库user 有复制binlog权限
database.password=123456      #数据库password
database.server.id=9999       # server id 同一个数据库的serverId不能有重复的
database.server.name=wyk_sandbox    # server name [记录DDL动作的topic名称，给消费端使用的]
database.whitelist=testschema       # schema白名单，只监控白名单库下的，和blacklist参数互相冲突
database.history.kafka.bootstrap.servers=wykd:9092  # kafka
database.history.kafka.topic=wyk_csdn_debezium_mysql  #记录所有schema变动记录的topic[给连接器使用的]
include.schema.changes=true  # 监控schema变动，写入一个名称和server name一样的topic内
include.query=true        # 将执行的sql也记录下来，需要mysql端的参数binlog_rows_query_log_events=ON

注意：

配置文件中每行参数前后不能有空格；

如果需要在消息内记录执行的sql，需要：

  • mysql：set global binlog_rows_query_log_events=ON;
  • debezium mysql connect配置文件：include.query=true

需要特别关注的几个参数：whitelist、blacklist、include.query、include.schema.changes、snapshot.mode

注册启动Connector

如果当前kafka没有启动kafka connect服务，则使用下面的命令启动并注册connect到kafka：

cd $KAFKA_HOME
bin/connect-standalone.sh config/connect-standalone.properties config/connect-debezium-mysql-wyk-csdn2.properties

启动成功后，会一并启动kafka rest服务，我们可以使用restful api的方式查看或管理connectors：

GET /Connectors：返回活跃的 Connector 列表
POST /Connectors：创建一个新的 Connector；请求的主体是一个包含字符串name字段和对象 config 字段（Connector 的配置参数）的 JSON 对象。
GET /Connectors/{name}：获取指定 Connector 的信息
GET /Connectors/{name}/config：获取指定 Connector 的配置参数
PUT /Connectors/{name}/config：更新指定 Connector 的配置参数
GET /Connectors/{name}/status：获取 Connector 的当前状态，包括它是否正在运行，失败，暂停等。
GET /Connectors/{name}/tasks：获取当前正在运行的 Connector 的任务列表。
GET /Connectors/{name}/tasks/{taskid}/status：获取任务的当前状态，包括是否是运行中的，失败的，暂停的等，
PUT /Connectors/{name}/pause：暂停连接器和它的任务，停止消息处理，直到 Connector 恢复。
PUT /Connectors/{name}/resume：恢复暂停的 Connector（如果 Connector 没有暂停，则什么都不做）
POST /Connectors/{name}/restart：重启 Connector（Connector 已故障）
POST /Connectors/{name}/tasks/{taskId}/restart：重启单个任务 (通常这个任务已失败)
DELETE /Connectors/{name}：删除 Connector, 停止所有的任务并删除其配置

在浏览器查看当前活跃的connectors： ip:8083/connectors

例：此时我们想再注册一个debezium mysql connector服务的话就不能用刚刚的命令启动了，会报错提示Failed to bind to 0.0.0.0/0.0.0.0:8083，Caused by: java.net.BindException: Address already in use。这里的8083端口就是kafka connect服务，因此我们只能使用下面的命令来注册新的connector：

# 这里的 connector 配置需要使用json格式
curl -s http://10.1.174.10:8083/connectors -X POST -H "Content-Type: application/json" --data \
'{"name": "wyk_csdn_mysql_debezium_connector2","config": {"connector.class": "io.debezium.connector.mysql.MySqlConnector", "database.hostname": "10.1.174.10", "database.port": "3306", "database.user": "root", "database.password": "123456", "database.server.id": "9988", "database.server.name": "wyk_sandbox", "database.whitelist": "canal_manager", "database.history.kafka.bootstrap.servers": "10.1.174.10:9092 ", "database.history.kafka.topic": "wyk_csdn_debezium_mysql2", "include.schema.changes": "true","include.query":"true" }}'

例：使用rest api管理kafka connectors：

# 查看所有活跃的connectors
curl -s http://10.1.174.10:8083/connectors -X GET

# 注册一个新的connector
curl -s http://10.1.174.10:8083/connectors -X POST -H "Content-Type: application/json" --data \
'{"name": "wyk_csdn_mysql_debezium_connector2","config": {"connector.class": "io.debezium.connector.mysql.MySqlConnector", "database.hostname": "10.1.174.10", "database.port": "3306", "database.user": "root", "database.password": "123456", "database.server.id": "9988", "database.server.name": "wyk_sandbox", "database.whitelist": "canal_manager", "database.history.kafka.bootstrap.servers": "10.1.174.10:9092 ", "database.history.kafka.topic": "wyk_csdn_debezium_mysql", "include.schema.changes": "true","include.query":"true" }}'

# 删除指定的connector
curl -s http://10.1.174.10:8083/connectors/wyk_csdn_mysql_debezium_connector2 -X DELETE

验证CDC

此时我们已经启动了debezium mysql connect来监控指定的mysql并将数据写入了kafka，和maxwell,canal不同的是，debezium监控的消息会将每张表对应一个topic，且该topic只包含该表的增删改(insert/delete/update)操作，DDL操作如create/drop/truncate/rename/alter等命令会统一写入以配置文件中的database.server.name 参数的值为名称的topic内。

Topic 命名方式：对于同一个connector 监控的数据范围，一张表对应一个topic，该范围内所有库所有表的DDL操作记录在同一个topic内：

  • DDL topic：serverName
  • DML topic：serverName.databaseName.tableName

默认情况下，为了提升性能及保证数据一致性，在第一次启动时并不会从binlog回放表的每个操作来同步数据，而是通过一个全局读锁将表的快照直接同步到对应的topic内，这个过程很快，在同步完成后才会继续监控binlog内的操作达到初始化时全量切实时的目的。该快照模式的参数在connector配置文件中为 snapshot.mode，有下面几个可选的值：

  • initial：默认值，第一次启动connector时同步数据快照，完成后再从记录的binlog位置开始同步，但当关闭connector很久以后再次启动时若上次记录的Offset在binlog内已经被删除的时候就会启动失败（建议mysql保留全部binlog）；
  • when_needed：在有必要的任何时候执行快照任务，和initial类似，不同的是当遇到故障时如binlog丢失时会重新发起一个快照同步；
  • never：永不执行快照同步，从Binlog记录的位置回放；
  • schema_only：从第一次启动后记录当前schema，然后从binlog位置开始同步，仅同步schema变动而不同步数据；
  • schema_only_recovery：仅同步schema变更而不同步数据，只能配置于已有的connector之上，不是从当前启动时记录schema而是从已存在的connector上次记录的位置开始；

消息体： 分为两种，一个记录DDL，一个记录DML

DDL：schema_change_topic_structure

DML：change_event_values ，默认会使用primary key 或unique key作为消息体的key，也可自定义key。

DML中insert对应的op为c，update对应为u，delete对应为d。 

例：

DDL：

{
	"schema": {
		"type": "struct",
		"fields": [
			{
				"type": "struct",
				"fields": [
					{
						"type": "string",
						"optional": false,
						"field": "version"
					},
					{
						"type": "string",
						"optional": false,
						"field": "connector"
					},
					{
						"type": "string",
						"optional": false,
						"field": "name"
					},
					{
						"type": "int64",
						"optional": false,
						"field": "ts_ms"
					},
					{
						"type": "string",
						"optional": true,
						"name": "io.debezium.data.Enum",
						"version": 1,
						"parameters": {
							"allowed": "true,last,false"
						},
						"default": "false",
						"field": "snapshot"
					},
					{
						"type": "string",
						"optional": false,
						"field": "db"
					},
					{
						"type": "string",
						"optional": true,
						"field": "table"
					},
					{
						"type": "int64",
						"optional": false,
						"field": "server_id"
					},
					{
						"type": "string",
						"optional": true,
						"field": "gtid"
					},
					{
						"type": "string",
						"optional": false,
						"field": "file"
					},
					{
						"type": "int64",
						"optional": false,
						"field": "pos"
					},
					{
						"type": "int32",
						"optional": false,
						"field": "row"
					},
					{
						"type": "int64",
						"optional": true,
						"field": "thread"
					},
					{
						"type": "string",
						"optional": true,
						"field": "query"
					}
				],
				"optional": false,
				"name": "io.debezium.connector.mysql.Source",
				"field": "source"
			},
			{
				"type": "string",
				"optional": false,
				"field": "databaseName"
			},
			{
				"type": "string",
				"optional": false,
				"field": "ddl"
			}
		],
		"optional": false,
		"name": "io.debezium.connector.mysql.SchemaChangeValue"
	},
	"payload": {
		"source": {
			"version": "1.2.2.Final",
			"connector": "mysql",
			"name": "wyk_sandbox",
			"ts_ms": 1601016725000,
			"snapshot": "false",
			"db": "testschema",
			"table": "wyk_csdn",
			"server_id": 1,
			"gtid": null,
			"file": "mysql-bin.000016",
			"pos": 93212,
			"row": 0,
			"thread": null,
			"query": null
		},
		"databaseName": "testschema",
		"ddl": "create table wyk_csdn(id int,name varchar(20),ins_ts timestamp)"
	}
}

DML：

{
	"schema": {
		"type": "struct",
		"fields": [
			{
				"type": "struct",
				"fields": [
					{
						"type": "int32",
						"optional": true,
						"field": "id"
					},
					{
						"type": "string",
						"optional": true,
						"field": "name"
					},
					{
						"type": "string",
						"optional": true,
						"name": "io.debezium.time.ZonedTimestamp",
						"version": 1,
						"field": "ins_ts"
					}
				],
				"optional": true,
				"name": "wyk_sandbox.testschema.wyk_csdn.Value",
				"field": "before"
			},
			{
				"type": "struct",
				"fields": [
					{
						"type": "int32",
						"optional": true,
						"field": "id"
					},
					{
						"type": "string",
						"optional": true,
						"field": "name"
					},
					{
						"type": "string",
						"optional": true,
						"name": "io.debezium.time.ZonedTimestamp",
						"version": 1,
						"field": "ins_ts"
					}
				],
				"optional": true,
				"name": "wyk_sandbox.testschema.wyk_csdn.Value",
				"field": "after"
			},
			{
				"type": "struct",
				"fields": [
					{
						"type": "string",
						"optional": false,
						"field": "version"
					},
					{
						"type": "string",
						"optional": false,
						"field": "connector"
					},
					{
						"type": "string",
						"optional": false,
						"field": "name"
					},
					{
						"type": "int64",
						"optional": false,
						"field": "ts_ms"
					},
					{
						"type": "string",
						"optional": true,
						"name": "io.debezium.data.Enum",
						"version": 1,
						"parameters": {
							"allowed": "true,last,false"
						},
						"default": "false",
						"field": "snapshot"
					},
					{
						"type": "string",
						"optional": false,
						"field": "db"
					},
					{
						"type": "string",
						"optional": true,
						"field": "table"
					},
					{
						"type": "int64",
						"optional": false,
						"field": "server_id"
					},
					{
						"type": "string",
						"optional": true,
						"field": "gtid"
					},
					{
						"type": "string",
						"optional": false,
						"field": "file"
					},
					{
						"type": "int64",
						"optional": false,
						"field": "pos"
					},
					{
						"type": "int32",
						"optional": false,
						"field": "row"
					},
					{
						"type": "int64",
						"optional": true,
						"field": "thread"
					},
					{
						"type": "string",
						"optional": true,
						"field": "query"
					}
				],
				"optional": false,
				"name": "io.debezium.connector.mysql.Source",
				"field": "source"
			},
			{
				"type": "string",
				"optional": false,
				"field": "op"
			},
			{
				"type": "int64",
				"optional": true,
				"field": "ts_ms"
			},
			{
				"type": "struct",
				"fields": [
					{
						"type": "string",
						"optional": false,
						"field": "id"
					},
					{
						"type": "int64",
						"optional": false,
						"field": "total_order"
					},
					{
						"type": "int64",
						"optional": false,
						"field": "data_collection_order"
					}
				],
				"optional": true,
				"field": "transaction"
			}
		],
		"optional": false,
		"name": "wyk_sandbox.testschema.wyk_csdn.Envelope"
	},
	"payload": {
		"before": null,
		"after": {
			"id": 2,
			"name": "wyk2",
			"ins_ts": "2020-09-25T08:10:22Z"
		},
		"source": {
			"version": "1.2.2.Final",
			"connector": "mysql",
			"name": "wyk_sandbox",
			"ts_ms": 1601021422000,
			"snapshot": "false",
			"db": "testschema",
			"table": "wyk_csdn",
			"server_id": 1,
			"gtid": null,
			"file": "mysql-bin.000016",
			"pos": 97798,
			"row": 0,
			"thread": 162,
			"query": "insert into wyk_csdn values(2,'wyk2',current_timestamp())"
		},
		"op": "c",
		"ts_ms": 1601021422679,
		"transaction": null
	}
}

另外如果使用confluent platform，可以在control center中直接查看管理connectors以及查看topic内的数据：

尾巴

优点： 

  1. debezium支持全DDL（create/alter/rename/drop/truncate）和DML（insert/update/delete）的操作日志同步；（Maxwell不支持truncate命令同步）
  2. 支持使用数据的主键或唯一键作为消息体的key（可以根据该唯一键做Topic分区进行负载均衡）；
  3. 支持快照模式(snapshot.mode)全量同步；（Canal不支持全量，Maxwell支持bootstrap全量）
  4. 还支持多种数据源（MySQL，Oracle，Postgre，MongoDB，SqlServer，DB2，Cassandra），比Canal，Maxwell功能更强大；
  5. 社区活跃，与kafka connect配合使用如虎添翼。

缺点：

  1. 需要kafka connect依赖；
  2. 消息体内容太多，对消息队列压力较大；（可使用transforms 模块进行压缩和定制）
  3. 每张表对应一个topic，管理起来不够方便（canal，maxwell则可以使用正则来处理）； （可使用transforms 模块进行压缩和定制）

希望本文对你有帮助，请点个赞鼓励一下作者吧~ 谢谢！

Debezium系列之：debezium同步mysql数据库数据到kafka集群
zhengzaifeidelushang的博客
07-27 1171
debezium同步mysql数据库数据到kafka集群 一、修改connect-distributed.sh配置 #!/bin/bash #打开JMX监控 export JMX_PORT=9010 #JVM参数配置优化 export KAFKA_HEAP_OPTS="-Djava.security.auth.login.config=/moudle/debezium/kafka_2.13-2.7.0/config/connect-jaas.conf -Xms28G -Xmx28G -XX:NewSiz
Debezium监控mysql数据并把数据库变动写入kafka
zhengzaifeidelushang的博客
03-15 774
Debezium监控mysql数据并把数据库变动写入kafka 下载debezium-connector-mysql-1.4.2.Final-plugin.tar.gz 1.kafka目录下创建debezium-connector存放文件夹 mkdir - p /moudle/kafka-2.7/conn 2.解压debezium-connector-mysql-1.4.2.Final-plugin.tar.gz #解压 tar -zxvf debezium-connector-mysql-1.4.2
Debezium同步MySQL变更到kafka
weixin_43564627的博客
07-21 1244
Debezium同步MySQL变更到kafka 前期准备: 完成 Kafka Connect Source和MySQL集成 官网: https://debezium.io/documentation/reference/1.5/install.html mysql官网教程:https://debezium.io/documentation/reference/1.5/connectors/mysql.html Kafka Connect教程api 首先我们要知道rest服务提供了一些API去操作conne
Debezium日常分享系列之：在 Kubernetes 中使用 Debezium 的 CDC
最新发布
zhengzaifeidelushang的博客
06-29 645
Debezium日常分享系列之：在 Kubernetes 中使用 Debezium 的 CDC
CDC工具之Debezium
datacreating的博客
11-30 7293
Debezium是一组分布式服务，用于捕获数据库中的更改，以便您的应用程序可以看到这些更改并做出响应。
Debezium MySQL 同步到kafka
vkingnew 的技术博客
04-03 1856
支持的jar包文件下载： https://repo1.maven.org/maven2/io/debezium/debezium-connector-mysql/0.9.3.Final/debezium-connector-mysql-0.9.3.Final-plugin.tar.gz https://repo1.maven.org/maven2/io/debezium/debezium-co...
kafka 监听mysql de_Kafka使用Debezium监听MySQL
weixin_36146057的博客
01-28 532
Kafka组件使用理解Kafka Connect先建立一个Connect,这个Connect可以配置一些参数,确定信息的一些格式然后在这个Connect的基础上建立一系列的Connector,可以确定数据源,以及一系列对数据的变更Kafka使用的是CDH安装的parcels1234567891011/opt/cloudera/parcels/KAFKA/# Kafka配置目录/opt/cloude...
MySQL大表实时同步到ClickHouse的方案
12-01 1639
MySQL大表实时同步到ClickHouse的方案
kafka实时读取sqlserver数据_Debezium SQL Server Source Connector+Kafka+Spark+MySQL 实时数据处理...
weixin_36362920的博客
12-24 1953
写在前面前段时间在实时获取SQLServer数据库变化时候，整个过程可谓是坎坷。然后就想在这里记录一下。ps:后面应该会将数据放到Kudu上。然后主要记录一下，整个组件使用和组件对接过程中一些注意点和坑。开始吧在处理实时数据时，需要即时地获得数据库表中数据的变化，然后将数据变化发送到Kafka中。不同的数据库有不同的组件进行处理。常见的MySQL数据库，就有比较多的支持 canal ，maxwel...
数据实时增量同步工具Maxwell实战
悦分享
10-05 1503
CDC是指从源数据库捕获到数据和数据结构(也称为模式)的增量变更，近乎实时地将这些变更，传播到其他数据库或应用程序之处。通过这种方式，CDC能够向数据仓库提供高效、低延迟的数据传输，以便信息被及时转换并交付给专供分析的应用程序。CDC通过仅发送增量的变更，来降低通过网络传输数据的成本；CDC可以帮助用户根据最新的数据做出更快、更准确的决策。例如，CDC会将事务直接传输到专供分析的应用上；CDC最大限度地减少了对于生产环境网络流量的干扰；maxwell：基于MYSQL的binlog；
Debezium SQL Server Source Connector+Kafka+Spark+MySQL 实时数据处理
留歌__36的博客
09-29 2322
写在前面 前段时间在实时获取SQLServer数据库变化时候，整个过程可谓是坎坷。然后就想在这里记录一下。 在处理实时数据时，需要即时地获得数据库表中数据的变化，然后将数据变化发送到Kafka中。这篇文章将介绍如何使用Kafka Connector完成这一工作。 ...
cdc工具 postgresql_基于 Flink SQL CDC 的实时数据同步方案
weixin_39744316的博客
12-22 1888
作者：伍翀 (云邪)整理：陈政羽(Flink 社区志愿者)Flink 1.11 引入了 Flink SQL CDC，CDC 能给我们数据和业务间能带来什么变化？本文由 Apache Flink PMC，阿里巴巴技术专家伍翀 (云邪)分享，内容将从传统的数据同步方案，基于 Flink CDC 同步的解决方案以及更多的应用场景和 CDC 未来开发规划等方面进行介绍和演示。1、传统数据同步方案2、基于 ...
开源的数据变化捕获（CDC）平台Debezium
xuweilin的博客
02-20 440
Debezium是一个开源的分布式变更数据捕获（CDC）平台，基于 Apache Kafka 构建，用于实时捕获和传输数据库中的数据变更。它通过读取数据库的事务日志，捕获行级更改，并将这些更改以事件的形式发布到 Kafka 等流处理平台。Debezium 是一个功能强大的 CDC 平台，适用于需要实时数据同步、微服务集成和大数据分析的场景。其灵活的部署方式和对多种数据库的支持，使其成为企业数据集成的理想选择。
cdc-Debezium
program哲学
09-05 1422
文章目录简介功能架构Apache Kafka Connect部署 Debezium 。Debezium 服务器嵌入式引擎安装快速开始参考资料 简介 Debezium 是一组分布式服务，用于捕获数据库中的更改，以便您的应用程序可以查看这些更改并对其做出响应。Debezium 将每个数据库表中的所有行级更改记录在一个更改事件流中，应用程序只需读取这些流以查看更改事件发生的顺序。 使用左侧的链接查找 Debezium 的文档，包括各种 Debezium连接器。如果你想避开Debezium是你的头或它是如何工作的，
Debezium同步之MySQL数据到Kafka的同步
Auspicious航的博客
04-13 2025
目录 一、概述 1.1连接器的工作原理 二、设置 MySQL 2.1 创建用户 2.2 启用二进制日志 2.3 启用 GTID 2.4 配置会话超时 2.5 启用查询日志事件 三、部署 3.1 MySQL 连接器配置示例 3.2 添加连接器配置 一、概述 MySQL 有一个二进制日志（binlog），它按照提交到数据库的顺序记录所有操作。这包括对表模式的更改以及对表中数据的更改。MySQL 使用 binlog 进行复制和恢复。 Debezium MySQL 连接器.
Debezium-实时同步MySQL到Kafka的环境搭建
鱼七
12-07 1万+
Debezium-实时同步MySQL到Kafka的环境搭建
Debezium获取MySQL Binlog同步到kafka，sparkStreaming实现实时计算
m0_37723298的博客
09-02 1181
Debezium获取MySQL Binlog同步到kafka，sparkStreaming实现实时计算 版本信息：kafka(kafka_2.11-2.1.1) zookeeper(zookeeper-3.4.10) sprak(spark-2.1.0-bin-hadoop2.7) Debezium(debezium-connector-mysql-0.9.5.Final-plugin.tar.gz) Debezium下载地址 https://repo1.maven.org/maven2/io/debezi
Debezium同步MySQL变更到kafka集群及REST API使用方法汇总
lichunliang的博客
01-05 2318
Debezium安装及REST API使用方法 参考文档： Debeziun官方文档：https://debezium.io/documentation/reference/1.3/ https://blog.youkuaiyun.com/ylejun/article/details/107272923 一、Kafka-distributed模式安装启动Debezium 1、前期准备 ​ 前期准备需安装kafka、zookeeper集群及MySQL测试数据库 1. kafka集群信息 1.1.1.1:7
大数据技术之Debezium
热门推荐
weixin_40898246的博客
08-31 1万+
Debezium概述 Debezium是用于捕获变更数据的开源分布式平台。可以响应数据库的所有插入，更新和删除操作。Debezium依赖于kafka上，所以在安装Debezium时需要提前安装好Zookeeper，Kafka，以及Kakfa Connect。 Kafka Connect Kafka Connect用于在Apache Kafka和其他系统之间可扩展且可靠地数据流传输数据的工具，连接器可以轻松地将大量数据导入或导出。 Kafka Connect当前支持两种模式，standalone和dist
有哪些开源免费的框架，可以实时同步oracle asm日志实时同步
04-28
### 开源免费框架实时同步 Oracle ASM 日志 #### 背景分析 Oracle Automatic Storage Management (ASM) 是一种专为管理数据库文件设计的存储解决方案[^3]。然而，ASM 的日志本身并不直接暴露给外部工具进行解析和同步。为了实现实时同步 Oracle ASM 日志的功能，通常需要借助于能够捕获数据库变更并将其转换为可消费数据流的技术。 目前主流的开源框架和技术主要集中在以下几个方面： 1. **基于归档日志的解析**：如 Oracle Streams 或 LogMiner 技术[^2]。 2. **CDC（Change Data Capture）工具**：这些工具可以从数据库的日志中提取变化的数据，并将其传输到目标系统。 3. **第三方中间件或框架**：例如 Debezium、Maxwell 和 Canal 等，虽然它们主要用于 MySQL 和 PostgreSQL，但也有一些针对 Oracle 的适配方案。 --- #### 推荐的开源免费框架 ##### 1. **Debezium** Debezium 是一个分布式平台，用于捕获数据库中的变更并通过消息队列（如 Kafka）发布这些变更。对于 Oracle 数据库的支持，Debezium 提供了专门的连接器，可以通过解析重做日志（Redo Logs）来捕捉数据的变化[^6]。 ```java // 配置 Debezium 连接器以监听 Oracle 数据库 Properties props = new Properties(); props.setProperty("connector.class", "io.debezium.connector.oracle.OracleConnector"); props.setProperty("database.server.name", "my-oracle-server"); props.setProperty("database.hostname", "localhost"); props.setProperty("database.port", "1521"); props.setProperty("database.user", "debezium"); props.setProperty("database.password", "dbz"); props.setProperty("database.dbname", "ORCLPDB1"); props.setProperty("table.whitelist", "MYSCHEMA.MYTABLE"); ``` 尽管 Debezium 不直接支持 ASM 日志的解析，但它可以间接通过 Oracle 的 Redo Logs 获取所需的信息。 ##### 2. **LogMiner** Oracle 自身提供的 LogMiner 工具允许开发者访问重做日志的内容，并从中提取 DML 和 DDL 操作的详细信息。虽然这不是一个独立的开源框架，但其功能可以通过自定义脚本封装为轻量级的应用程序[^7]。 ```sql -- 启动 LogMiner 并指定要解析的日志范围 EXECUTE DBMS_LOGMNR.START_LOGMNR( OPTIONS => DBMS_LOGMNR.DICT_FROM_ONLINE_CATALOG + DBMS_LOGMNR.COMMITTED_DATA_ONLY); SELECT SCN, OPERATION, SQL_REDO FROM V$LOGMNR_CONTENTS; ``` ##### 3. **DBSyncer** DBSyncer 是一款专注于增量同步的开源框架，特别适合基于 Oracle 通知机制的场景[^1]。该框架的核心优势在于其实现了高效的双向同步能力，但由于其依赖于触发器或其他显式的变更捕获方式，可能无法完全满足对 ASM 日志的实时需求。 ##### 4. **GoldenGate Community Edition** 虽然 GoldenGate 官方版本并非完全免费，但在某些特定条件下，社区版仍然可供试用。作为业界领先的 CDC 解决方案之一，GoldenGate 支持从 ASM 存储层读取重做日志并完成跨系统的数据复制[^8]。 --- #### 技术选型建议 如果项目预算有限且追求纯粹的开源实现，则推荐优先考虑 **Debezium** 或者自行封装 **LogMiner** 功能；而对于更复杂的企业级需求而言，评估引入 **GoldenGate 社区版** 的可行性可能是更好的选择。 --- ###
评论 14
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王义凯_Rick

遇见即是缘，路过就给个评论吧~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值