Debezium实战-第5章 转换

最新推荐文章于 2025-02-20 21:43:30 发布
最新推荐文章于 2025-02-20 21:43:30 发布
阅读量2.3k 收藏
点赞数
分类专栏： Debezium实战 文章标签： 数据库开发
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/onemy/article/details/124493937
版权
这篇博客深入探讨了Debezium在数据库变更事件处理中的转换功能，包括主题路由、新记录状态提取、MongoDB特定处理、消息过滤和基于内容的路由。内容涵盖了如何配置SMT以有选择地应用转换，确保数据一致性，并展示了如何根据事件内容路由到不同主题。此外，还讨论了如何处理MongoDB的复杂消息结构，以及如何过滤和路由数据变更事件，以满足不同场景的需求。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

5 转换

5.1 概览

可以使用转换配置连接器，以使每个消息修改轻量级。Debezium 提供了几个单消息转换(SMT)，您可以使用它们在将记录发送到 Apache Kafka（通过将它们应用到 Debezium 连接器）之前修改记录，或者在接收器连接器从 Kafka 读取它们时修改它们。Debezium Server也支持使用 SMT。

Debezium 提供以下 SMT：

转换 描述
主题路由 根据应用于原始主题名称的正则表达式将记录重新路由到不同的主题。
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Flink CDC / Kafka Connect 自动转换 Debezium 的 DataTime / Timpstamp 时间格式
Laurence的技术博客
04-26 1039
不管是用 Flink CDC 还是 Kafka Connect (Debezium Connector)，在实时获取数据库的 CDC 数据并以 Json 格式写入 Kafak 中时，都会遇到 DataTime / Timpstamp 类型的转换问题，即：原始数据库中的 DataTime / Timpstamp 的字面量是 2021-12-14 00:00:00 这种形式，但是，转换为 Json 后就变成了 1639411200000 (带毫秒位的 epoch 时间)，这带来的问题是：下游表基于 Json 数
Debezium系列之：修改源码支持mysql数据库字段类型tinyint(1) unsigned转化为java boolean类型
zhengzaifeidelushang的博客
06-20 673
@[TOC](Debezium系列之：修改源码支持mysql数据库字段类型tinyint(1) unsigned转化为java boolean类型)数据库字段类型如下所示： debezium设置boolean转换器 插入数据： 消费debezium数据，查看数据转化后的类型： 如上所示，发现debezium只把tinyint(1) 转化为了boolean类型，inyint(1) unsigned 转化为了java int16类型debezium-connector-mysql/src/main/java/i
debezium-datetime-converter:Debezium自定义转换器用于处理mysql datetime类型的问题
03-15
debezium-datetime-converter Debezium自定义转换器用于处理mysql datetime类型的问题 MySQL的 Binlog连接器 德比兹 德比兹图式 日期（2021-01-28） 本地日期（2021-01-28） 整数（18655） 碘化氢时间日期 时间（17:29:04） 期间（PT17H29M4S） 长（62944000000） （（持续时间）数据）.toNanos（）/ 1_000 时间戳记（2021-01-28 17:29:04） ZonedDateTime （2021-01-28T09：29：04Z） 细绳（2021-01-28T09：29：04Z） io.debezium.ZoneedTimestamp 约会时间（2021-01-28 17:29:04） LocalDateTime （2021-01-28T17：29
Debezium系列之：事件扁平化转换SMT，简化debezium数据格式，为数据添加head，为值添加键值对
zhengzaifeidelushang的博客
02-11 1019
Debezium系列之：事件扁平化转换SMT，简化debezium数据格式，为数据添加head，为值添加键值对
Debezium同步之自定义转换器
Auspicious航的博客
04-10 610
将数据从一种类型转换为另一种类型的函数。注册转换器的回调。为当前字段注册给定的架构和转换器。不应为同一字段调用多次。注册用于特定字段的自定义值和架构转换器。自定义转换器方法接口的实现将连接器配置中指定的属性传递给转换器实例。该configure方法在连接器初始化时运行。您可以使用具有多个连接器的转换器，并根据连接器的属性设置修改其行为。该configureprops包含要传递给转换器实例的属性。每个属性指定用于转换特定类型列的值的格式。注册转换器以处理数据源中的特定列或字段。
Debezium系列之：源码阅读之Converters
zhengzaifeidelushang的博客
04-27 1978
Debezium系列之：源码阅读之Converters一、Debezium专栏博客每周更新计划二、pom.xml三、转换器CustomConverter四、自定义转化器IsbConverter五、自定义转换器使用方式六、Schema七、Field八、SchemaBuilder九、ConvertedField十、RelationalColumn 后续每周在日常更新Debezium技术文章的同时，会以一定频率同步更新Debezium源码阅读系列文章，欢迎与博主交流Debezium相关技术，一起加油。 一、Deb
【Kettle与Debezium实战指南】：2023年构建实时数据同步的终极秘籍
[【Kettle与Debezium实战指南】：2023年构建实时数据同步的终极秘籍](https://opengraph.githubassets.com/e0ed6f773fefb6d1a3dc200e2fc5b3490f73468ff05cf2f86b69b21c69a169bb/pentaho/pentaho-kettle) # 摘要 ...
ElasticSearch实战（四十八）-Debeizum 实现 MySQL 数据实时同步方案
专注基础架构领域
09-25 888
前文我们通过 Canal 来实时同步数据，Debeizum 是一种比 Canal 更好的实时同步方案，它底层是基于 Kafka-connect 为核心构建的，可以完美对接 Kafka 家族生态，上游支持接入MongoDB、MySQL、PostgreSQL、SQL Server、Oracle、Db2、Cassandra、Vitess，下游是只支持接入 Kafka，然后我们再从 Kafka 中消费数据，可以选择 Kafka-connect 也可以选择 Logstash 来再做一层数据清洗，
debezium mysql_Debezium 实现 MySQL 到 Elasticsearch 高效实时同步
weixin_42626599的博客
02-06 347
题记来自Elasticsearch中文社区的问题——MySQL中表无唯一递增字段，也无唯一递增时间字段，该怎么使用logstash实现 MySQL 实时增量导数据到es中？logstash和kafka_connector都仅支持基于自增id或者时间戳更新的方式 增量 同步数据。回到问题本身：如果库表里没有相关字段，该如何处理呢？本文给出相关探讨和解决方案。1、 binlog认知1.1 啥是 bin...
debezium专栏文章目录
最新发布
爱丹丹的博客
02-20 138
Debezium监控体系搭建：从Prometheus到自定义指标。千万级数据量下的Debezium调优手册。数据脱敏与安全：生产环境必须掌握的配置。
浅析mysql迁移到clickhouse的5种方法
09-09
主要介绍了mysql迁移到clickhouse的5种方法，本文给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下
Debezium系列之：详细整理Debezium和Kafka的Transforms类型和全部功能
zhengzaifeidelushang的博客
06-16 2400
Debezium系列之：详细整理Debezium和Kafka的Transforms类型和全部功能
Debezium系列之：io.debezium.connector.mysql.converters.TinyIntOneToBooleanConverter用法详解
zhengzaifeidelushang的博客
05-13 560
Debezium系列之：io.debezium.connector.mysql.converters.TinyIntOneToBooleanConverter用法详解一、首先看下mysql表结构二、mysql中tinyint和tinyint(1)与Java数据类型对应关系三、插入数据四、消费debezium topic中数据查看映射后类型五、TinyIntOneToBooleanConverter的作用六、TinyIntOneToBooleanConverter的用法 在了解TinyIntOneToBool
Debezium系列之：深入理解tinyint(n)
zhengzaifeidelushang的博客
06-29 326
Debezium系列之：深入理解tinyint(n)
CDC框架之Debezium使用
w757227129的博客
11-22 3724
CDC框架之Debezium 简介 Debezium 是一组分布式服务，用于捕获数据库中的更改，以便您的应用程序可以看到这些更改并对其做出响应。Debezium 在更改事件流中记录每个数据库表中的所有行级更改，应用程序只需读取这些流以查看更改事件发生的相同顺序。 Debezium 构建在Apache Kafka之上，并提供与Kafka Connect兼容的连接器，用于监控特定的数据库管理系统。Debezium 在 Kafka 日志中记录数据更改的历史记录，从您的应用程序使用它们的位置。这使您的应用程序可以轻
Debezium系列之：开发代码支持时间戳转换成指定时间格式
zhengzaifeidelushang的博客
12-28 1246
Debezium系列之：开发代码支持时间戳转换成指定时间格式
数仓实时数据同步debezium实践踩坑
qq_39860344的博客
09-01 1645
数仓实时数据同步debezium实践踩坑 在mysql的测试过程中 日期解析报错。因为mysql的日期时间可以随便写，而java必须是1970-01-01 00:00:00及以后的。生产上很多默认写的0000-01-01 01:01:01。需要修改源码匹配无效时间全部改为1970-01-01 00:00:00。 时区差异，内部转换写死使用的utc，无法更改。并且datetime被选为timestamp数值,timestamp被转为timestamp_with_zone字符串,time被转为微秒数，date
flink - debezium 采集pg库表日期数据（字段类型：date/varchar）踩坑笔记
a123147abc的博客
02-09 1979
debezium 采集pg库表日期数据（字段类型：date/varchar） 表结构1 ： CREATE TABLE date_test ( whole_date varchar(255) NOT NULL, simple_date int4 NULL, cn_date varchar(255) NULL, year_month varchar(255) NULL, year_week varchar(255) NULL ) 表结构2 ： CREATE TABLE date_test ( wh
Debezium系列之：记录源数据库有大量DML操作时Debezium消费数据时间落后数据生成时间达几个小时的解决方法
zhengzaifeidelushang的博客
07-18 633
Debezium系列之：记录源数据库有大量DML操作时Debezium消费数据时间落后数据生成时间达几个小时的解决方法
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

onemy

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值