Kafka跨集群同步工具-MirrorMaker2.0详解

简介

MM2.0主要是基于Kafka Connect实现的跨集群同步工具

主要的功能有：

• 同步Topic数据到目标集群，并保持分区信息
• 同步Topic配置到目标集群，与源集群保持一致
• 同步Topic ACL到目标集群，与源集群保持一致（没有WRITE权限）
• 自动感知新的Topic和分区并同步到目标集群
• 同步组Offset到目标集群
• 基于Connect实现，特性：高可用、水平扩展
• 指定Topic、Group同步规则
• 自定义目标集群Topic名称规则

支持的模式：

双活：A->B, B->A

主备：A->B

聚合（多对一）：A->K, B->K, C->K

分发（一对多）：K->A, K->B, K->C

转发：A->B, B->C, C→D

限制：

为保证Offset同步，源集群Topic的分区数必须和目标集群Topic的分区数保持一致（目标Topic分区数>=源Topic分区数），不能出现源120分区目标80分区情况，这个分区数MM任务会同