
kafka
文章平均质量分 73
初夏0811
爱生活,爱写作,不爱加班
展开
-
MirrorMaker2配置后同步数据至目标集群的topic都加上一个源集群别名的前缀A.
DefaultReplicationPolicy: 默认取值, 这个策略会把同步至目标集群的topic都加上一个源集群别名的前缀,比如源集群别名为A,topic为:bi-log,该topic同步到目标集群后会变成:A.bi-log,目的是为了避免双向同步的场景出现死循环, 官方的解释是为了避免在复杂的镜像拓扑中重写数据。replication.policy.class取值有两个, 分别是 DefaultReplicationPolicy 和 CustomReplicationPolicy。原创 2024-10-27 13:01:19 · 4603 阅读 · 0 评论 -
配置MirrorMaker 2 连接器
配置MirrorMaker 2 连接器一、MirrorMaker 2 连接器配置属性一、MirrorMaker 2 连接器配置属性属性说明默认值admin.timeout.ms管理任务的超时,如检测新主题默认值为 60000 (1 分钟)replication.policy.class定义远程主题命名约定的策略默认为 org.apache.kafka.connect.mirror.DefaultReplicationPolicyreplication.polic原创 2024-10-27 12:44:59 · 4907 阅读 · 0 评论 -
kafka mirror maker之实现两个kafka集群之间的数据同步
Kafka MirrorMaker 是 Apache Kafka 提供的一个用于在不同 Kafka 集群之间复制数据的工具。它的主要用途是在多个数据中心、地理位置或集群之间实现数据同步和冗余,以提升数据的高可用性和容灾能力。以下是关于 Kafka MirrorMaker 的详细介绍。Kafka MirrorMaker 是一个非常有用的工具,用于在不同 Kafka 集群之间进行数据复制和同步。无论是简单的集群间数据传输,还是复杂的多数据中心部署,MirrorMaker 都能提供可靠的解决方案。原创 2024-10-27 12:21:51 · 5657 阅读 · 0 评论 -
使用MirrorMaker跨集群同步数据原理
从本质上说,MirrorMaker 就是一个消费者 + 生产者的程序。消费者负责从源集群(Source Cluster)消费数据,生产者负责向目标集群(Target Cluster)发送消息。整个镜像流程如下图所示:MirrorMaker 连接的源集群和目标集群,会实时同步消息。当然,不要认为只能使用一套 MirrorMaker 来连接上下游集群。事实上,很多用户会部署多套集群,用于实现不同的目的。下图中部署了三套集群:左边的源集群负责主要的业务处理;右上角的目标集群可以用于执行数据分析;原创 2024-10-26 21:13:24 · 4561 阅读 · 0 评论 -
kafka中MirrorMaker1和MirrorMaker2的区别
kafka开源社区也终于在kafka2.4带来了自己的企业级解决方案MirrorMaker-V2(MM2)。MM2修复了MM1所存在的局限性。MM2是基于kafka connect框架开发的。与其它的kafka connecet一样MM2有source connector和sink connetor组成,不熟悉kafka connect概念的同学可以这样认为,source connector就是MM1中的消费者,它负责读取远端数据中心的数据。原创 2024-10-26 20:39:48 · 5658 阅读 · 0 评论