Debezium系列之：Debezium单集群优化和多集群优化

最新推荐文章于 2025-03-22 10:40:42 发布
最新推荐文章于 2025-03-22 10:40:42 发布
阅读量1k 收藏 1
点赞数 1
分类专栏： debezium 文章标签： Debezium系列 单集群优化 多集群优化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zhengzaifeidelushang/article/details/125721306
版权
本文介绍了在面临单个Debezium集群压力增大时的优化措施，包括调整JVM参数以避免OOM，以及采用多集群策略来分散负载。通过设置不同端口和限制每个集群的connector数量，实现平稳运行和快速故障恢复。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Debezium系列之：Debezium集群优化和多集群部署

一、背景

  • 单个集群接入的Debezium connector已经达到100个左右了
  • Debezium集群出现oom情况，造成Debezium集群节点挂掉
  • Debezium单个节点有几十个connector，挂掉恢复很慢
  • Debezium集群升级，rebalance恢复很慢

二、Debezium单集群优化

  • export KAFKA_HEAP_OPTS=“-Xms2G -Xmx4G -XX:NewSize=1G -XX:MaxNewSize=2G”
  • 调整上面参数，控制单个debezium集群使用的参数

三、多集群设置

修改connect-distributed.sh：

  • 每个集群端口号不同export JMX_PORT=9011
  • kafka connect内存设置KAFKA_HEAP_OPTS
  • jmx导出设置，每个集群jmx导出端口不同

修改connect-distributed.properties

  • 主要设置Debezium使用的offset、config、status这三个topic
  • 每个集群的rest.port要不同
  • 设置kafka集群认证消费密码
了解本专栏 订阅专栏 解锁全文
Debezium优化：针对使用方式的阶段性详细总结及对Debezium集群和Kafka集群的优化
XbtoMemory的博客
09-23 351
合理配置Kafka参数：根据您的需求和硬件资源，调整Kafka的相关参数以优化性能和可靠性。例如，您可以调整消息的最大大小（max.message.bytes）、请求的最大大小（max.request.size）和批处理大小（batch.size）等参数。高性能的存储和网络设备也可以提升集群的整体性能。通过合理的配置和优化，您可以提高Debezium的性能和可伸缩性，并确保数据的准确和可靠传输。在本文中，我们将详细介绍如何优化Debezium的使用方式以及对Debezium集群和Kafka集群进行的优化。
Debezium系列之第100篇文章：阶段性详细总结对Debezium使用方式的优化，详细介绍对Debezium集群和Kafka集群做的一系列优化
zhengzaifeidelushang的博客
09-25 968
Debezium系列之第100篇文章：阶段性详细总结对Debezium使用方式的优化，同时优化Kafka集群和Debezium集群
四、Kafka + Debezium 集群部署
ynzzxc的博客
03-29 3129
（1）下载Kafka安装包并解压到指定目录 （2）修改配置文件，分配broker.id （3）复制到其他节点，配置环境变量 （4）创建Kafka插件目录，解压debezium插件到插件目录 （5）修改配置文件，复制到其他节点 以dataxc用户为例，脚本示例如下： #!/bin/bash # kafka.sh # ---部署kafka集群--- nodes=(n101 n102 n103) zk_connect='n101:2181,n102:2181,n103:2181' #解压kafk
Debezium介绍
最新发布
Linging_24的博客
03-22 1284
Debezium是一个开源的分布式平台，用于捕获数据库的变更事件（CDC，Change Data Capture）。它能够实时捕获数据库中的行级更改，并将这些更改作为事件流发送到消息中间件（如 Apache Kafka）。Debezium 构建于 Apache Kafka Connect 之上，提供了一组 Kafka Connect 兼容的连接器，每个连接器都针对特定的数据库管理系统（DBMS）。高可用。
Debezium系列之：优化集群参数和支持debezium connector个性化设置
zhengzaifeidelushang的博客
07-18 1140
Debezium系列之：优化集群参数和支持debezium connector个性化设置
Debezium系列之：监控Debezium集群状态，自动化运维Debezium集群
zhengzaifeidelushang的博客
07-18 432
Debezium系列之：监控Debezium集群状态，自动化运维Debezium集群
Debezium系列之：基于Debezium实现Cassandra数据库数据实时接入Kafka集群的详细流程步骤
zhengzaifeidelushang的博客
04-05 689
Debezium系列之：基于Debezium实现Cassandra数据库数据实时接入Kafka集群的详细流程步骤
Debezium系列之：JVM参数详解和Debezium集群JVM监控看板制作
zhengzaifeidelushang的博客
07-05 441
Debezium集群监控看板
Debezium系列之：在K8s集群中部署Debezium Operator运行Debezium Server的详细步骤
zhengzaifeidelushang的博客
10-25 736
Debezium系列之：在K8s集群中部署Debezium Operator运行Debezium Server的详细步骤
Debezium系列之：debezium集群生产环境参数最优设置
zhengzaifeidelushang的博客
06-20 1466
connector.client.config.override.policymax.request.size（默认值为1048576）方案一全局修改：方案二只修改部分debezium连接器：
Debezium系列之：debezium server应用参数优化、增加端口设置、增加日志设置、设置日志告警级别
zhengzaifeidelushang的博客
06-13 1015
至此成功给debezium server增加了端口设置，能够在同一台机器上启动多个debezium server，成功增加了日志信息。在端口设置的基础上，增加端口告警，debezium server应用自动重启脚本。
Kafka+Debezium+Mirror跨DC同步搭建.docx
12-22
基于Kafka的数据同步服务搭建，内容涵盖Kafka部署，Kafka安全配置，跨DC，数据加密，认证等诸多元素
Debezium系列之：记录一次Debezium集群迁移注意事项
zhengzaifeidelushang的博客
05-17 476
Debezium系列之：记录一次Debezium集群迁移注意事项一、准备好新的Debezium集群二、保存旧的Debezium集群connector配置三、创建kafka topic四、创建Debezium connector四、查看Debezium集群connector状态 一、准备好新的Debezium集群 zookeeper集群 kafka集群 debezium集群 二、保存旧的Debezium集群connector配置 需要保存所有旧的Debezium集群connector配置 需要支持一次性
Debezium的三种部署方式
爱丹丹的博客
09-02 3130
debezium 有下面三种部署方式，其中最常用的就是 kafka connect。
Debezium系列之：在 Kubernetes 上部署 Debezium
zhengzaifeidelushang的博客
06-27 2000
Debezium 可以轻松部署在开源容器管理平台 Kubernetes 上。该部署利用了 Strimzi 项目，该项目旨在通过自定义资源简化 Kubernetes 上 Apache Kafka 的部署。为了测试您的部署，您可以使用 minikube，它会在本地计算机上启动 Kubernetes 集群。如果您想在 minikube 上完全测试本文档中描述的 Debezium 部署，则需要在 minikube 上设置不安全的容器映像注册表。
Debezium系列之：安装jmx导出器监控debezium指标
zhengzaifeidelushang的博客
07-27 1249
安装jmx导出器监控debezium指标一、kafka-connector打开JMX二、安装JMX导出器三、创建jmx导出配置文件四、将JMX导出添加到kafka连接二进制文件中五、重新启动分布式连接服务六、验证JMX代理七、服务器获取debezium指标八、浏览器查看debezium指标 一、kafka-connector打开JMX 使用jmx导出器监控debezium指标可以详细参考这篇博客为kafka-connector打开JMX： Debezium启动kafka-connector：https:/
Debezium系列之：使用Debezium接入PostgreSQL数据库数据到Kafka集群的详细技术文档
zhengzaifeidelushang的博客
09-01 3361
Debezium系列之：PostgreSQL数据库的Debezium连接器
4 Debezium抽取部署
大雨点的专栏
12-03 674
MySQL binlog 日志抓取
Debezium系列之：Debezium Server
zhengzaifeidelushang的博客
06-27 1901
可以通过在conf/application.properties 文件中设置quarkus.log.console.json=false 来禁用JSON 日志记录，如conf/application.properties.example 文件中所示。配置需要包含Predicates列表、每个Predicates的实现类以及每个Predicates的配置选项。配置需要包含转换列表、每个转换的实现类以及每个转换的配置选项。一些接收器公开了依赖注入点，使用户能够提供自己的 bean 来修改接收器的行为。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

快乐骑行^_^

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值