Kafka与Pulsar差异深入探讨

Kafka
Apache Kafka实现了一个经典的分布式系统。为了处理一个分区的数据，Kafka将整个分区数据存储在每个节点（即Broker）中，该节点负责计算和存储。一个分区可以有多个副本，相应的副本存储在分区leader和in-sync副本（ISR）中。这种突破性的分布式处理方法有效地解决了Kafka诞生时的一系列挑战，如削峰和异步通信。它具有高性能（高吞吐量、低延迟）和数据持久性，满足了大数据时代的数据迁移需求。
多年来，由于蓬勃发展的开源社区和支持该项目的商业公司，一个全面的Kafka生态系统已经形成。许多大大小小的企业都支持Kafka，这充分说明了它作为一种产品的成熟性。
尽管Kafka的简单架构使其得以快速发展并取得领先，但它也为适应不同场景留下了潜在的困难。其中一些挑战包括：
   Rebalancing之痛
   难以扩展brokers,topics,partitions,replicas
   Broker故障处理
   延迟和抖动
   企业级功能
   云迁移
Kafka出现在2010年前后，当时正值大数据的最初爆发期。随着数据量在随后几年的持续增长，功能需求和易用性变得越来越重要。更重要的是，“云原生”的概念开始受到关注，这预示着Kafka将迎来新的挑战者，Apache Pulsar就是其中的佼佼者。

Pulsar：为云原生而生
Kafka的经典架构启发了许多继任者，包括Apache Pulsar。作为云原生环境的下一代消息平台，Pulsar拥有一个计算和存储解耦的架构。
Pulsar Broker充当计算层，而存储由另一个Apache顶级项目Apache BookKeeper支持，这是一个分布式预写日志（WAL）系统。BookKeeper可以有效地处理大量的数据存储任务，元数据来源于ZooKeeper。
Pulsar的分层架构、云原生兼容性以及多租户等开源企业功能在生产中为用户提供了更多的可能性。尽管如此，其复杂的结构也意味着更高的学习成本和就业市场上人才的缺乏。这也是为什么像腾讯这样的大型科技公