Debezium系列-Debzium MySQL Binlog 集成到Hive 坑（二）

最新推荐文章于 2025-05-04 10:03:48 发布
最新推荐文章于 2025-05-04 10:03:48 发布
阅读量756 收藏 2
点赞数
分类专栏： CDC同步系列 文章标签： Debezium binlog hive hdfs sink 采坑
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/MuQianHuanHuoZhe/article/details/107809105
版权

采集配置

{
    "name": "avro-inventory-customers",
    "config": {
        "connector.class": "io.debezium.connector.mysql.MySqlConnector",
        "tasks.max": "1",
        "database.hostname": "psd-hadoop039",
        "database.port": "3306",
        "database.user": "debezium",
        "database.password": "dbz",
        "database.server.name": "avro",
        "database.whitelist": "inventory",
        "database.history.kafka.bootstrap.servers": "psd-hadoop039:9092",
        "database.history.kafka.topic": "dbhistory.avro.inventory",
        "table.whitelist": "inventory.customers",
        "key.converter": "io.confluent.connect.avro.AvroConverter",
        "key.converter.schema.registry.url": "http://psd-hadoop039:8081",
        "value.converter": "io.confluent.connect.avro.AvroConverter",
        "value.converter.schema.registry.url": "http://psd-hadoop039:8081",
        "include.schema.changes": "true",
        "tombstones.on.delete":"false",
        "binary.handling.mode": "hex",
        "time.precision.mode": "connect"
    }
}

消费配置

{
	"name": "avro.inventory.customers.sink",
	"config": {
		"connector.class": "io.confluent.connect.hdfs.HdfsSinkConnector",
		"format.class": "io.confluent.connect.hdfs.avro.AvroFormat",
		"key.converter": "io.confluent.connect.avro.AvroConverter",
		"key.converter.schema.registry.url": "http://psd-hadoop039:8081",
		"value.converter": "io.confluent.connect.avro.AvroConverter",
		"value.converter.schema.registry.url": "http://psd-hadoop039:8081",
		"key.converter.schemas.enable": "true",
		"value.converter.schemas.enable": "true",
		"tasks.max": "1",
		"topics": "avro.inventory.customers",
		"transforms": "unwrap",
		"transforms.unwrap.type": "io.debezium.transforms.ExtractNewRecordState",
		"transforms.unwrap.drop.tombstones": "true",
		"transforms.unwrap.delete.handling.mode": "rewrite",
		"transforms.unwrap.add.headers": "name,db,table,op,db",
		"transforms.unwrap.add.fields": "name,db,table,op,file,pos,row,ts_ms,source.ts_ms",
		"hadoop.conf.dir": "/etc/hadoop/conf",
		"store.url": "hdfs://cdhtest",
		"logs.dir": "/user/dts/logs",
		"topics.dir": "/user/dts/topics",
		"flush.size": "2",
		"rotate.interval.ms": "10000",
		"hive.integration": true,
		"hive.database": "dts",
		"hive.metastore.uris": "thrift://cdh-10-21-17-95:9083",
		"partitioner.class": "io.confluent.connect.hdfs.partitioner.HourlyPartitioner",
		"locale": "zh",
		"timezone": "Asia/Shanghai",
		"path.format": "YYYYMMddHH/",
		"schema.compatibility": "BACKWARD"
	}
}

数据=》新增、修改：ok；删除报错如下
错误信息

[2020-08-05 10:23:11,028] ERROR WorkerSinkTask{id=avro.inventory.customers.sink-0} Task threw an uncaught and unrecoverable exception. Task is being killed and will not recover until manually restarted. Error: org.apache.kafka.connect.errors.SchemaProjectorException: Schema version required for BACKWARD compatibility (org.apache.kafka.connect.runtime.WorkerSinkTask:565)
java.lang.RuntimeException: org.apache.kafka.connect.errors.SchemaProjectorException: Schema version required for BACKWARD compatibility
	at io.confluent.connect.hdfs.TopicPartitionWriter.write(TopicPartitionWriter.java:407)
	at io.confluent.connect.hdfs.DataWriter.write(DataWriter.java:386)
	at io.confluent.connect.hdfs.HdfsSinkTask.put(HdfsSinkTask.java:127)
	at org.apache.kafka.connect.runtime.WorkerSinkTask.deliverMessages(WorkerSinkTask.java:545)
	at org.apache.kafka.connect.runtime.WorkerSinkTask.poll(WorkerSinkTask.java:325)
	at org.apache.kafka.connect.runtime.WorkerSinkTask.iteration(WorkerSinkTask.java:228)
	at org.apache.kafka.connect.runtime.WorkerSinkTask.execute(WorkerSinkTask.java:200)
	at org.apache.kafka.connect.runtime.WorkerTask.doRun(WorkerTask.java:184)
	at org.apache.kafka.connect.runtime.WorkerTask.run(WorkerTask.java:234)
	at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
	at java.util.concurrent.FutureTask.run(FutureTask.java:266)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
	at java.lang.Thread.run(Thread.java:748)
Caused by: org.apache.kafka.connect.errors.SchemaProjectorException: Schema version required for BACKWARD compatibility
	at io.confluent.connect.storage.schema.StorageSchemaCompatibility.validateAndCheck(StorageSchemaCompatibility.java:157)
	at io.confluent.connect.storage.schema.StorageSchemaCompatibility.shouldChangeSchema(StorageSchemaCompatibility.java:320)
	at io.confluent.connect.hdfs.TopicPartitionWriter.write(TopicPartitionWriter.java:361)
	... 13 more
[2020-08-05 10:23:11,039] ERROR WorkerSinkTask{id=avro.inventory.customers.sink-0} Task threw an uncaught and unrecoverable exception (org.apache.kafka.connect.runtime.WorkerTask:186)
org.apache.kafka.connect.errors.ConnectException: Exiting WorkerSinkTask due to unrecoverable exception.
	at org.apache.kafka.connect.runtime.WorkerSinkTask.deliverMessages(WorkerSinkTask.java:567)
	at org.apache.kafka.connect.runtime.WorkerSinkTask.poll(WorkerSinkTask.java:325)
	at org.apache.kafka.connect.runtime.WorkerSinkTask.iteration(WorkerSinkTask.java:228)
	at org.apache.kafka.connect.runtime.WorkerSinkTask.execute(WorkerSinkTask.java:200)
	at org.apache.kafka.connect.runtime.WorkerTask.doRun(WorkerTask.java:184)
	at org.apache.kafka.connect.runtime.WorkerTask.run(WorkerTask.java:234)
	at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
	at java.util.concurrent.FutureTask.run(FutureTask.java:266)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
	at java.lang.Thread.run(Thread.java:748)
Caused by: java.lang.RuntimeException: org.apache.kafka.connect.errors.SchemaProjectorException: Schema version required for BACKWARD compatibility
	at io.confluent.connect.hdfs.TopicPartitionWriter.write(TopicPartitionWriter.java:407)
	at io.confluent.connect.hdfs.DataWriter.write(DataWriter.java:386)
	at io.confluent.connect.hdfs.HdfsSinkTask.put(HdfsSinkTask.java:127)
	at org.apache.kafka.connect.runtime.WorkerSinkTask.deliverMessages(WorkerSinkTask.java:545)
	... 10 more
Caused by: org.apache.kafka.connect.errors.SchemaProjectorException: Schema version required for BACKWARD compatibility
	at io.confluent.connect.storage.schema.StorageSchemaCompatibility.validateAndCheck(StorageSchemaCompatibility.java:157)
	at io.confluent.connect.storage.schema.StorageSchemaCompatibility.shouldChangeSchema(StorageSchemaCompatibility.java:320)
	at io.confluent.connect.hdfs.TopicPartitionWriter.write(TopicPartitionWriter.java:361)
	... 13 more

字段=》新增：报错如下

[2020-08-05 11:04:05,040] ERROR WorkerSinkTask{id=avro.inventory.customers.sink-0} Task threw an uncaught and unrecoverable exception. Task is being killed and will not recover until manually restarted. Error: org.apache.kafka.connect.errors.SchemaProjectorException: Schema version required for BACKWARD compatibility (org.apache.kafka.connect.runtime.WorkerSinkTask:565)
java.lang.RuntimeException: org.apache.kafka.connect.errors.SchemaProjectorException: Schema version required for BACKWARD compatibility
	at io.confluent.connect.hdfs.TopicPartitionWriter.write(TopicPartitionWriter.java:407)
	at io.confluent.connect.hdfs.DataWriter.write(DataWriter.java:386)
	at io.confluent.connect.hdfs.HdfsSinkTask.put(HdfsSinkTask.java:127)
	at org.apache.kafka.connect.runtime.WorkerSinkTask.deliverMessages(WorkerSinkTask.java:545)
	at org.apache.kafka.connect.runtime.WorkerSinkTask.poll(WorkerSinkTask.java:325)
	at org.apache.kafka.connect.runtime.WorkerSinkTask.iteration(WorkerSinkTask.java:228)
	at org.apache.kafka.connect.runtime.WorkerSinkTask.execute(WorkerSinkTask.java:200)
	at org.apache.kafka.connect.runtime.WorkerTask.doRun(WorkerTask.java:184)
	at org.apache.kafka.connect.runtime.WorkerTask.run(WorkerTask.java:234)
	at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
	at java.util.concurrent.FutureTask.run(FutureTask.java:266)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
	at java.lang.Thread.run(Thread.java:748)
Caused by: org.apache.kafka.connect.errors.SchemaProjectorException: Schema version required for BACKWARD compatibility
	at io.confluent.connect.storage.schema.StorageSchemaCompatibility.validateAndCheck(StorageSchemaCompatibility.java:157)
	at io.confluent.connect.storage.schema.StorageSchemaCompatibility.shouldChangeSchema(StorageSchemaCompatibility.java:320)
	at io.confluent.connect.hdfs.TopicPartitionWriter.write(TopicPartitionWriter.java:361)
	... 13 more
[2020-08-05 11:04:05,041] ERROR WorkerSinkTask{id=avro.inventory.customers.sink-0} Task threw an uncaught and unrecoverable exception (org.apache.kafka.connect.runtime.WorkerTask:186)
org.apache.kafka.connect.errors.ConnectException: Exiting WorkerSinkTask due to unrecoverable exception.
	at org.apache.kafka.connect.runtime.WorkerSinkTask.deliverMessages(WorkerSinkTask.java:567)
	at org.apache.kafka.connect.runtime.WorkerSinkTask.poll(WorkerSinkTask.java:325)
	at org.apache.kafka.connect.runtime.WorkerSinkTask.iteration(WorkerSinkTask.java:228)
	at org.apache.kafka.connect.runtime.WorkerSinkTask.execute(WorkerSinkTask.java:200)
	at org.apache.kafka.connect.runtime.WorkerTask.doRun(WorkerTask.java:184)
	at org.apache.kafka.connect.runtime.WorkerTask.run(WorkerTask.java:234)
	at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
	at java.util.concurrent.FutureTask.run(FutureTask.java:266)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
	at java.lang.Thread.run(Thread.java:748)
Caused by: java.lang.RuntimeException: org.apache.kafka.connect.errors.SchemaProjectorException: Schema version required for BACKWARD compatibility
	at io.confluent.connect.hdfs.TopicPartitionWriter.write(TopicPartitionWriter.java:407)
	at io.confluent.connect.hdfs.DataWriter.write(DataWriter.java:386)
	at io.confluent.connect.hdfs.HdfsSinkTask.put(HdfsSinkTask.java:127)
	at org.apache.kafka.connect.runtime.WorkerSinkTask.deliverMessages(WorkerSinkTask.java:545)
	... 10 more
Caused by: org.apache.kafka.connect.errors.SchemaProjectorException: Schema version required for BACKWARD compatibility
	at io.confluent.connect.storage.schema.StorageSchemaCompatibility.validateAndCheck(StorageSchemaCompatibility.java:157)
	at io.confluent.connect.storage.schema.StorageSchemaCompatibility.shouldChangeSchema(StorageSchemaCompatibility.java:320)
	at io.confluent.connect.hdfs.TopicPartitionWriter.write(TopicPartitionWriter.java:361)
	... 13 more

原因 我们看下下面的这段代码：
io.confluent.connect.hdfs.TopicPartitionWriter#write

 if (currentSchema == null) {
    if (compatibility != StorageSchemaCompatibility.NONE && offset != -1) {
      String topicDir = FileUtils.topicDirectory(url, topicsDir, tp.topic());
      CommittedFileFilter filter = new TopicPartitionCommittedFileFilter(tp);
      FileStatus fileStatusWithMaxOffset = FileUtils.fileStatusWithMaxOffset(
          storage,
          new Path(topicDir),
          filter
      );
      if (fileStatusWithMaxOffset != null) {
        currentSchema = schemaFileReader.getSchema(
            connectorConfig,
            fileStatusWithMaxOffset.getPath()
        );// (1) 读取 hdfs 的文件信息作为当前的currentSchema 信息
      }
    }
  }
  SinkRecord record = buffer.peek();
  currentRecord = record;
  Schema valueSchema = record.valueSchema(); // (2) 当前记录的Schema
  if ((recordCounter <= 0 && currentSchema == null && valueSchema != null)
      || compatibility.shouldChangeSchema(record, null, currentSchema)) {
    currentSchema = valueSchema;
    if (hiveIntegration) {
      createHiveTable();
      alterHiveSchema();
    }
    if (recordCounter > 0) {
      nextState();
    } else {
      break;
    }

io.confluent.connect.storage.schema.StorageSchemaCompatibility#validateAndCheck

protected boolean validateAndCheck(Schema valueSchema, Schema currentSchema) {
        if (currentSchema == null && valueSchema == null) {
            return false;
        } else if (currentSchema == valueSchema) {
            return false;
        } else if (currentSchema != null && valueSchema != null) {
            if ((valueSchema.version() == null || currentSchema.version() == null) && this != NONE) {// (3) debug个时发现两个的值都是空
                throw new SchemaProjectorException("Schema version required for " + this.toString() + " compatibility");
            } else {
                return this.check(valueSchema, currentSchema);
            }
        } else {
            throw new SchemaProjectorException("Switch between schema-based and schema-less data is not supported");
        }
    }

当kafka connect 的task 重新调度的时候会读取 hdfs 文件信息生成currentSchema，获取到kafka 里面的数据生成valueSchema，通过代码中的（1）（2）（3）步骤可以看出 报错的原因。

Debezium系列之：Mysql数据库开启Binlog
zhengzaifeidelushang的博客
12-05 742
Debezium系列之：Mysql数据库开启Binlog
滴滴基于Binlog的采集架构与实践
DiDi_Tech的博客
06-22 6448
桔妹导读：大数据是这个时代赋予我们的强大引擎，在数字化大潮中 ，借助数据驱动的方法推动业务乘风破浪，几乎是每家公司的核心战略。数据驱动的落脚点是数据，能否将组织或业务运行过程中的信息，进行...
Binlog2Hive:MySQL增量数据实时同步到HDFSHive
04-29
项目背景 RDS的数据实时同步到HDFS下，并映射到Hive 原理 通过解析RDS的binlog将RDS的增量数据同步到HDFS下，并映射加载到Hive外部分区表 由于RDS表中的第二个字段都为datetime字段，所以刚才以该字段作为Hive的分区字段 配置文件介绍 doc/creat table.sql：Hive表的建表语句，除了静态表外，其他全部为天级别外部分区表 binglog2Hive_conf.properties:里面为所有全部需要同步到HDFS的表 mysql.properties:Mysql druid连接池配置 程序说明 binlog解析框架： 核心类为BinlogClient 程序主要序列化以下几个事件 TABLE_MAP：包括表名，数据库名 WRITE_ROWS：包含增量的业务记录 程序启动时会先从t_position表中获取上次的同步状态，根据上次的同步状态来确定
Debezium系列-Debzium MySQL Binlog 集成到Hive 坑（一）
数据新玩法
08-04 1522
环境说明 kakfa 2.5 debezium-debezium-connector-mysql-1.2.0 confluentinc-kafka-connect-hdfs-5.5.1( hadoop 2.x 的) Debzium Binlog connector 采集配置 { "name": "json-inventory-customers", "config": { "connector.class": "io.debezium.connector.mysql.My
Debezium 架构详解与实战示例
最新发布
SlothLu的博客
05-04 816
Debezium提供了一个强大而灵活的CDC解决方案，通过其模块化的架构设计，可以轻松实现数据库变更的捕获和处理。本文通过详细的架构图、流程图和具体示例，展示了Debezium的核心组件和工作原理
mysql binlog hive_使用 Binlog 和 Canal 从 MySQL 抽取数据
weixin_42471237的博客
01-19 481
数据抽取是 ETL 流程的第一步。我们会将数据从 RDBMS 或日志服务器等外部系统抽取至数据仓库，进行清洗、转换、聚合等操作。在现代网站技术栈中，MySQL 是最常见的数据库管理系统，我们会从多个不同的 MySQL 实例中抽取数据，存入一个中心节点，或直接进入 Hive。市面上已有多种成熟的、基于 SQL 查询的抽取软件，如著名的开源项目Apache Sqoop，然而这些工具并不支持实时的数据...
mysql hive binlog_带你解析MySQL binlog
weixin_39707851的博客
01-19 155
前言：我们都知道，binlog可以说是MySQL中比较重要的日志了，在日常学习及运维过程中，也经常会遇到。不清楚你对binlog了解多少呢？本篇文章将从binlog作用、binlog相关参数、解析binlog内容三个方面带你了解binlog。1.binlog简介binlog即binary log，二进制日志文件。它记录了数据库所有执行的DDL和DML语句(除了数据查询语句select、show等)...
【hive】BinlogUpdatetoHive项目学习
HNUJSY
01-22 1681
项目最后更新时间为2016年，其中使用了hive streaming的api 项目中主要使用canal工具读取mysql日志，主要定义了处理binlog日志的逻辑，然后将处理完的数据打入kafka中供spark streaming进行消费 项目中的主要spark逻辑定义在了如下的函数中 项目主要使用了spark streaming做数据处理，设置15s为一个周期，取出kafka中的数据，然后做数据清洗和处理，然后调用DStreamtoHiveBatchUtilLoan将数据更新到hiv...
8、NIFI综合应用场景-NiFi监控MySQL binlog进行实时同步到hive
05-29
在本场景中，我们将探讨如何使用NiFi来实时监控MySQL数据库的binlog（二进制日志），并将其中的变更事件同步到Hive数据仓库。由于Hive的插入操作效率较低，这种方案通常不用于直接的实时写入，但可以作为数据流处理...
fluent-plugin-mysql-binlog:用于Fluentd事件收集器MySQL Binlog输入插件
05-06
fluent-plugin-mysql-binlog， 的插件 用于Fluentd事件收集器MySQL Binlog输入插件。 安装 将此行添加到您的应用程序的Gemfile中： gem 'fluent-plugin-mysql-binlog' 然后执行： $ bundle 或将其自己安装为： $ ...
mysql-binlog-connector-java：MySQL二进制日志连接器
02-26
mysql-binlog-connector-java 注意：该存储库不再维护。 我建议迁移到 。 MySQL Binary Log连接器。 最初，项目是作为的分支开始的，但最终作为完整的重写而结束。 主要差异/特征： 自动binlog文件名/位置| GTID...
mysql-binlog-connector-java-0.21.0-API文档-中文版.zip
07-13
赠送jar包：mysql-binlog-connector-java-0.21.0.jar； 赠送原API文档：mysql-binlog-connector-java-0.21.0-javadoc.jar； 赠送源代码：mysql-binlog-connector-java-0.21.0-sources.jar； 赠送Maven依赖信息文件：...
分布式数据集成平台（Debezium）
weixin_43156294的博客
09-01 1843
Debezium 是一个开源的分布式平台，主要用于捕获数据库的变更事件，并将这些变更实时地流式传输到其他系统，以实现数据同步、监控和集成等目的。2016 年：Debezium 正式开源，支持 MySQL 数据库的变更捕获，这是其第一个支持的数据库。通过抽取数据库日志来获取变更，实现了对 MySQL 数据的全量读取和增量读取。
Debezium是什么
fengfengzai0101的博客
01-15 1万+
Debezium是什么 Debezium是一个用来捕获数据库数据变更的分布式服务，你的应用可以看到这些数据变更，以及处理他们。Debezium以更改事件流的形式记录每张表的行级变更。 然后应用可以以事件流产生的顺序读取事件流变更记录。 目前支持的Source Connectors是Mysql，MongoDB，PostgresSQL、Oracle、SQL Server、Db2、Cassamdra、Vitesss。 目前Cassandra、Vitess处于孵化阶段。 说明：孵化连接器发版用于预览目的，对于孵
Debezium简介
热门推荐
码农无双的博客
07-25 2万+
1.什么是Debezium &amp;amp;amp;amp;nbsp;&amp;amp;amp;amp;nbsp;&amp;amp;amp;amp;nbsp;&amp;amp;amp;amp;nbsp;&amp;amp;amp;amp;nbsp;&amp;amp;amp;amp;nbsp;&amp;amp;amp;amp;nbsp;Debezium是一个开源项目，为捕获数据更改(change data capture,CDC)提供了一个低延迟的流式
debezium 的mysql插件+ schema registry(confluent)实现 avro 序列化
善皮之的博客
08-08 1502
debezium 的mysql插件+ schema registry(confluent)实现 avro 序列化 背景 avro 序列化与json序列化方式比较 默认的kafka的connect 使用的是一种json的方式完成的序列化。这种json的序列化的结构数据比较冗长。在kafka中存储数据的同时，也存储数据的其它结构信息（每条数据都要存储一遍），这样占用大量的空间。 confluent avro序列化的优点: Avro模式将表的结构信息存储在schema registry中，所以在kafka每个记录
debezium-mysql的本地使用与测试并confluent实现avro序列化
m0_52539962的博客
04-01 428
详细的步骤实现debezium-mysql的本地使用和测试并使用confluent来实现avro序列化，具体的安装包需根据自身要求安装
Debezium系列之：使用Debezium接入SQL Server数据库数据到Kafka集群的详细技术文档
zhengzaifeidelushang的博客
10-12 3127
Debezium系列之：使用Debezium接入SQL Server数据库数据到Kafka集群的详细技术文档
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值