实战Kafka之异地双活--MirrorMaker1.0

前言

异地灾备可以防止一个机房出现灾难而导致整个系统无法提供服务的问题。
异地双活在异地灾备的基础上减少了数据的冗余，并且提高了对数据双向同步及同步实时性的要求。
Kafka作为在双活中扮演了很重要的角色，一方面是两个区域的正常业务的消息数据分发、另一方面则是elasticsearch等中间件集群的双活方案有时需要依赖kafka的双活。那么在保证实时性的前提下做好kafka的双活呢？下面博主抛砖引玉给出自己实现的基于Kafka自带组件Mirror-Maker的两种方案，读者可以根据自己需要进行改进。

一、Kafka-Mirror-Maker

MirrorMaker是Kafka官方提供的用来做跨机房同步的组件。在kafka的安装目录的bin目录下有一个kafka-mirror-maker.sh文件就是MirrorMaker的入口。

image.png

• 工作原理：

1、MirrorMaker本质上既是一个生产者又是一个消费者
2、MirrorMaker从一个机房的某个主题消费消息，再把消费到的消息生产到另一个机房的相同的主题下。

• 如何使用：

bin/kafka-mirror-maker.sh --consumer.config consumer.properties  --producer.config producer.properties --num.streams 3 --whitelist=".*"

参数解释：
--producer.config：mirrormaker中的生产者，与我们常规的生产者配置是一样的，我们可以参照生产者配置文档进行参数配置
--consumer.config：mirrormaker中的消费者，与我们常规的消费者配置相同，可以参照消费者配置文档进行参数配置
--num.streams：mirrormaker中消费者线程的个数
--whitelist：mirrormaker中消费者指定消费的主题，.*表示所有主题，常规可以使用 | 分割开多个主题。
当然还有很多其他参数，我们可以执行bin/kafka-mirror-maker.sh --help来查看

• 疑问解答：

1、mirrormaker应该从哪个机房消费，向哪个机房生产。
答：应该从异