Kafka 集群实现数据同步

Kafka 介绍

Kafka 是一个高吞吐的分布式消息系统，不但像传统消息队列（RaabitMQ、RocketMQ等）那样能够【异步处理、流量消峰、服务解耦】

还能够把消息持久化到磁盘上，用于批量消费。除此之外由于 Kafka 被设计成分布式系统，吞吐量和可用性大大提高

Kafka 角色

• kafka 客户端
  • 生产者（producer）：也叫发布者，负责创建消息
  • 消费者（consumer）：也叫订阅者，负责消费（读取）消息
• Kafka 服务端（broker）
  • leader：对外提供读写服务
  • follower：不提供服务，负责向 leader 同步数据

Topic（主题）和 partition（分区）

topic 就是消息发布的地方，消费者通过订阅 topic 来消费到对应的消息

为了提高吞吐量，实现 topic 的负载均衡，Kafka 在 topic 下又引用了分区（partition）的概念，每个 topic 可以被划分成多个分区

分区允许消息在 Topic 下水平分割和存储，每个分区都是一个有序且不可变的消息队列，消费者可以以并行的方式消费同一个 topic 中的消息