Pulsar和Kafka，谁才是消息流平台的王者

最新推荐文章于 2025-09-22 10:06:41 发布
原创 最新推荐文章于 2025-09-22 10:06:41 发布 · 595 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java #程序人生 #kafka

本文对比了Pulsar和Kafka在历史背景、架构、消息存储和消费模型、多租户、运维等方面的差异。Pulsar采用分层架构，存储和计算分离，支持更复杂的消费模式，如独占、灾备、共享和Key_Shared。Kafka则以其成熟的社区和简化部署而受到青睐。尽管Pulsar在云原生和多租户方面表现出色，但Kafka的广泛使用和社区资源使其仍占有重要地位。

Pulsar是一款分布式发布/订阅消息平台，近两年非常火，被称为下一代的消息流平台，大有取代Kafka的势头。今天我们就来比较一下Pulsar跟Kafka。

历史背景

Pulsar源自Yahoo，于2016年开源并捐献给Apache基金会，并在2018年9月升级成为Apache顶级项目。

Kafka最初由Linkedin开发，并于2010年贡献给了Apache基金会，之后成为Apache顶级项目。

架构

Kafka

Kafka架构由broker和zookeeper组成，如下图：

[1]

注意：Kafka2.8版本可以不依赖Zookeeper独立运行了

Pulsar

Pulsar的架构如下：

Pulsar Broker会在本地缓存消息，并且支持TTL，

从上面的2个架构我们看到，Kafka和Pulsar有3点不同：

  • Pulsar采用分层架构，将计算和存储相分离，存储使用BookKeeper集群，计算使用Broker集群，Broker需要内置BookKeeper客户端。
  • Pulsar的部署和架构更加复杂，但是也更具有伸缩性。
  • Pulsar在最新版本中依然不能脱离Zookeeper独立运行。

消息存储模型

Kafka

Kafka采用分区(Partition)的方式来保存topic，模型图如下：

最低0.47元/天 解锁文章
Pulsar与Kafka架构对比：分布式消息传递系统的探索
CxzLoop的博客
09-17 188
如果需要较强的多租户支持和层级结构管理，以及更灵活的存储模型，Pulsar是一个不错的选择。然而，Pulsar具有更灵活的存储模型，可以选择将消息以不同的策略保存，例如在写入时复制到多个存储区域。通过增加Broker和分区的数量，Kafka可以轻松地处理大规模的消息流和高并发的请求。通过增加Broker和分区的数量，Kafka可以轻松地处理大量的消息和高并发的请求。全局层负责协调整个Pulsar集群的工作，命名空间层用于隔离不同的租户或应用程序，而主题层则代表了消息传递的最小单位。
大数据技术Kafka详解 ① | 消息队列（Messages Queue）
dvlinker的技术专栏
11-18 1万+
大数据技术Kafka详解 ① | 消息队列
CTO问我Pulsar到底能不能取代Kafka？
weixin_45963535的博客
11-03 2607
Pulsar是一款分布式发布/订阅消息平台，近两年非常火，被称为下一代的消息流平台，大有取代Kafka的势头。今天我们就来比较一下Pulsar跟Kafka。 历史背景 Pulsar源自Yahoo，于2016年开源并捐献给Apache基金会，并在2018年9月升级成为Apache顶级项目。 Kafka最初由Linkedin开发，并于2010年贡献给了Apache基金会，之后成为Apache顶级项目。 架构 Kafka Kafka架构由broker和zookeeper组成，如下图： [1]
Apache Pulsar的功能特性、组件介绍、和Kafka对比
Bulut0907
05-01 5081
1. 层级储存Infinite Stream: 以流的方式永久保存原始数据分区的容量不再受限制充分利用云存储或现有的廉价存储(例如HDFS)数据统⼀表征：客户端无需关心数据究竟存储在哪⾥2. Pulsar IO(Connector)连接器Pulsar IO分为输入(Input)和输出(Output)两个模块，用于解决Pulsar与周边系统的集成问题目前支持非常多的连接集成操作: 例如HDFS 、Spark、Flink 、Flume 、ES 、HBase等。
大数据架构中的消息队列：Kafka与Pulsar对比
最新发布
AI 算法实战派
09-22 804
随着企业数字化转型的深入，实时数据处理需求爆发式增长，消息队列作为数据管道的核心基础设施，其选型直接影响系统的可扩展性、可靠性和成本效益。本文聚焦Kafka（诞生于LinkedIn，2011年开源）和Pulsar（诞生于Yahoo，2018年捐赠给Apache），从架构设计哲学、核心功能模块、生态兼容性、典型应用场景等层面进行多维度对比，帮助读者建立系统化的技术选型框架。核心概念：解析消息队列基础模型，对比两者的架构分层设计技术原理：深入存储引擎、消息分发、容错机制等核心模块实战对比。
译文 | 科普：Pulsar 和 Kafka 架构对比
Apache Pulsar
04-29 724
本文作者是 David Kjerrumgaard，目前任职于 Splunk，Apache Pulsar 和 Apache NiFi 项目贡献者。译者为 Sijia@StreamNative...
kafka测试工具_Apache Pulsar和Kafka之间的性能比较
weixin_39748445的博客
12-03 1361
最初于2019年8月29日发布在Kafkaesque博客上。Apache Pulsar，Apache Kafka和Apache BookKeeper是Apache Software Foundation的商标。Apache Kafka以其高性能而闻名。 它能够处理高速率的消息，同时保持较低的延迟。 Apache Pulsar是快速增长的Kafka的替代品。 有报告表明，Pulsar具有比Kafka...
Pulsar与Rocketmq、Kafka、Inlong-TubeMQ，谁才是消息中间件的王者？
everehoo的博客
01-23 572
导语 |Pulsar作为下一代消息中间件的典型代表，在设计和实现上面都具备很好的前瞻性，综合考量了业界现存的一些比较常用的、优秀的消息中间的架构设计、适用场景、运营中的问题等，如目前用的比较多的Kafka、Rocketmq、Inlong-TubeMQ等。本文仅从设计角度出发，说明下Pulsar与Kafka、Rocketmq及腾讯开源的Inlong-TubeMQ在实现上的几点区别和可能遇到的问题，供大家参考。 一、云原生多租户设计 （一）分级命名 Pulsar原生支持多租户设计，非常适合作为云产品进行.
三万字 | Kafka 知识体系保姆级教程宝典
m0_67322837的博客
05-26 489
本文目录： 一、消息队列 Apache Pulsar Pulsar 与 Kafka 对比 二、Kafka基础 三、Kafka架构及组件 四、Kafka集群操作 五、Kafka的JavaAPI操作 六、Kafka中的数据不丢失机制 七、Kafka配置文件说明 八、CAP理论 九、Kafka中的CAP机制 十、Kafka监控及运维 十一、Kafka大厂面试题 Kafka 涉及的知识点如下图所示，本文将逐一讲解： 本文档参考了关于 Kafka 的官网及其他众多资料整理而成，为了整洁的排版...
《王者荣耀》系统架构深度技术解析
热门推荐
qq_30377315的博客
06-20 2万+
提供极高的灵活性、性能（数据局部性）和热更新能力。维护所有实体（英雄、小兵、野怪、防御塔、技能、子弹）的位置、状态、属性、Buff/Debuff等。负责图形渲染（英雄、场景、特效）、物理模拟（碰撞、移动）、本地输入处理、音效播放、UI呈现。存储玩家核心档案（ID、昵称、等级、拥有的英雄/皮肤）、好友关系、邮件、订单记录（充值、消费）、成就进度、历史战绩元数据等。伤害计算（物理/魔法/真实伤害，护甲/魔抗穿透，暴击，吸血）、技能效果触发（控制、位移、治疗、召唤物）、碰撞检测、击杀判定、经济/经验分配。
Pulsar 与 Kafka 全方位对比（下篇）：案例、特性、社区
Apache Pulsar
12-03 1787
本文为《Pulsar vs Kafka - Part 2 - Adoption, Use Cases, Differentiators, and Community》中文翻译版本。原文首...
关于Pulsar与Kafka
weixin_34161032的博客
11-19 704
在本系列的Pulsar和Kafka比较文章中，我将引导您完成我认为重要的几个领域，并且对于人们选择强大，高可用性，高性能的流式消息传递平台至关重要。消息传递模型(Messaging model)是用户在选择流式消息传递系统时应首先考虑的事情。消息传递模型应涵盖以下3个方面： Message consumption(消息消费)：如何发送和消费消息 Message Acknowledgemen...
pulsar-3-对比pulsar和kafka
qq_20466211的博客
07-01 539
参考Pulsar到底能不能取代Kafka 1 历史背景 Pulsar是一款分布式发布/订阅消息平台，近两年非常火，被称为下一代的消息流平台，大有取代Kafka的势头。 Pulsar源自Yahoo，于2016年开源并捐献给Apache基金会，并在2018年9月升级成为Apache顶级项目。 Kafka最初由Linkedin开发，并于2010年贡献给了Apache基金会，之后成为Apache顶级项目。 2 架构对比 2.1 Kafka架构 Kafka架构由broker和zookeeper组成。 2.8.0 R
消息队列篇--原理篇--Pulsar和Kafka对比分析
weisian的博客
01-22 1747
如果你的应用需要：强一致性和多租户支持：Pulsar是更好的选择，特别是在需要跨多个分区的消息顺序保证和多租户支持的场景中，如金融交易、订单处理等。跨地域部署：Pulsar是更好的选择，特别是在需要在全球范围内分布的应用中，或者你需要跨多个数据中心的消息传递。云原生架构：Pulsar适合正在向云原生架构转型的企业，特别是那些已经使用容器化、微服务等现代技术栈的企业。
Pulsar 和 Kafka 架构对比
qianshanding0708的博客
10-03 1990
更多内容关注微信公众号：fullstack888相比于 Kafka 等数据处理中间件，分布式消息平台 Apache Pulsar 如何存储数据？本文基于架构，对比了 Apache Kafka 等传统数据处理中间件和分布式消息平台 Apache Pulsar 的优劣势，供大家参考。存储可扩展Apache Pulsar 的多层架构将消息服务层与存储层完全解耦，从而使各层可以独立扩展。传统的分布式数据处...
Pulsar 与 Kafka 全方位对比（上篇）：功能、性能、用例
Apache Pulsar
10-30 2239
本文为《Pulsar vs. Kafka — Part 1 — A More Accurate Perspective on Performance, Architecture, and Features》中文译文版本。 原文首发于： https://streamnative.io/blog/tech/2020-07-08-pulsar-vs-kafka-part-1 越来越多的消息平台开始采用实时流技术，这大大促进了 Pulsar 的发展。2020 年，Pulsar 受到持续关注，多家媒体争相报道；从《财
深入了解 Kafka 和 Pulsar 的区别
一览无遗
03-12 2513
在本篇博文中，我们将深入探讨 Apache Kafka 和 Apache Pulsar 之间的主要区别。通过研究这两个消息传递系统的核心区别和独特功能，我们希望让您初步了解它们的核心机制和实现。我们希望这种分析不仅能帮助您在两者之间做出选择时做出明智的决定，而且还能作为宝贵的资源来支持进一步探索和理解它们的功能。
Kafka、RocketMQ、Pulsar对比
小诸葛的博客
04-02 677
Pulsar 和 RocketMQ 更倾向于 mmap 的灵活性，Kafka 的 sendfile 在大吞吐量场景下更高效。：Pulsar 的分层架构提供了更高的灵活性和扩展性，而 Kafka 和 RocketMQ 的单体架构更简单但扩展性受限。：Pulsar 提供更灵活的消费模型，Kafka 强调高吞吐量的流式处理，RocketMQ 在事务支持上更强。：Pulsar 的分段和分层存储使其在扩展性和数据保留上优于 Kafka 和 RocketMQ。
Kafka 和 Pulsar到底有什么不同？
java_beautiful的博客
05-12 1052
Kafka 是一个分布式事件流平台，旨在处理高速、大容量和容错数据流。它最初由 LinkedIn 开发，后来捐赠给了 Apache 软件基金会。Kafka 已迅速成为构建实时数据管道、事件驱动架构和微服务应用程序的热门选择。核心能力发布和订阅记录流。以容错和持久的方式存储记录流。与配套服务协同工作，在记录发生时处理记录流（Kafka Streams 和 ksqlDB）。主要特点为实时数据流提供高吞吐量、低延迟的消息传递。支持数据分区和复制的可扩展架构。
pulsar和kafka有甚区别
08-26
Apache Pulsar 和 Apache Kafka 是两种广泛使用的分布式消息系统，尽管它们在某些方面有相似之处，但两者在设计目标、架构、功能和适用场景上存在显著区别。 ### 架构设计 Apache Kafka 采用的是单一的分区日志模型，其中每个主题（topic）被划分为多个分区（partition），每个分区对应一个日志文件，分区内的消息是有序的。Kafka 的架构设计更偏向于高吞吐量的场景，适合处理大规模数据流。 Apache Pulsar 则采用了分层架构设计，将计算和存储分离。Pulsar 的架构分为三层：服务层（Broker）、存储层（BookKeeper）和客户端层。这种设计使得 Pulsar 能够更灵活地扩展和管理资源，同时支持多租户和跨地域复制等功能[^1]。 ### 消息传递模型 Kafka 的消息传递模型基于分区日志，生产者将消息追加到分区末尾，消费者按偏移量读取消息。Kafka 提供了较强的顺序保证，但在消息的持久化和消费模式上较为单一。 Pulsar 支持多种消息传递模式，包括队列模式（Queueing）和发布/订阅模式（Pub/Sub）。Pulsar 的消费者可以以独占（Exclusive）、共享（Shared）或故障转移（Failover）模式订阅主题，这使得 Pulsar 在不同应用场景下具有更高的灵活性[^1]。 ### 消息持久化与可靠性 Kafka 的消息持久化机制是基于分区的，每个分区的消息都会被持久化到磁盘，并且可以通过副本机制（Replication）来保证数据的可靠性。Kafka 的副本机制依赖于 ZooKeeper 来进行协调。 Pulsar 使用 Apache BookKeeper 作为其底层存储引擎，消息的持久化和复制由 BookKeeper 负责。Pulsar 的每个主题可以配置多个副本，确保消息的高可用性和持久性。此外，Pulsar 支持多地域复制（Geo-Replication），可以在不同地理区域之间同步消息，适用于全球分布式的应用场景[^1]。 ### 性能与吞吐量 Kafka 在高吞吐量的场景下表现优异，尤其适合需要处理大量数据流的应用。Kafka 的性能优势主要来自于其高效的文件存储机制和批量发送/接收的能力。 Pulsar 的性能也非常出色，尤其是在低延迟和高并发的场景下。Pulsar 通过将计算和存储分离，能够更好地平衡负载，减少瓶颈。此外，Pulsar 支持动态调整分区数量，进一步提升了系统的可扩展性和性能[^1]。 ### 管理与运维 Kafka 的运维相对复杂，尤其是在集群规模较大时，需要手动管理分区、副本以及 ZooKeeper 的协调工作。Kafka 的一些高级功能（如Exactly-Once语义）也需要额外的配置和管理。 Pulsar 的分层架构简化了运维工作，特别是在多租户和跨地域复制的场景下。Pulsar 提供了丰富的管理工具和 API，方便用户进行监控、配置和故障排查。此外，Pulsar 的多租户支持使得不同团队或项目可以在同一个集群中共存，而不会相互干扰[^1]。 ### 适用场景 Kafka 更适合用于大数据管道、实时数据分析和事件溯源等场景，尤其是在需要高吞吐量和顺序保证的情况下。 Pulsar 则更适合用于需要多租户支持、跨地域复制、低延迟和高并发的场景。Pulsar 的灵活性使其能够胜任从实时数据流处理到微服务通信等多种应用场景。 ### 示例代码 以下是使用 Kafka 和 Pulsar 发送和接收消息的简单示例。 #### Kafka 生产者示例 ```java Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer"); props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer"); Producer<String, String> producer = new KafkaProducer<>(props); ProducerRecord<String, String> record = new ProducerRecord<>("my-topic", "key", "value"); producer.send(record); producer.close(); ``` #### Kafka 消费者示例 ```java Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("group.id", "test-group"); props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer"); props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer"); Consumer<String, String> consumer = new KafkaConsumer<>(props); consumer.subscribe(Collections.singletonList("my-topic")); while (true) { ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100)); for (ConsumerRecord<String, String> record : records) { System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value()); } } ``` #### Pulsar 生产者示例 ```java PulsarClient client = PulsarClient.builder() .serviceUrl("pulsar://localhost:6650") .build(); Producer<byte[]> producer = client.newProducer() .topic("my-topic") .create(); producer.send("Hello Pulsar".getBytes()); producer.close(); ``` #### Pulsar 消费者示例 ```java PulsarClient client = PulsarClient.builder() .serviceUrl("pulsar://localhost:6650") .build(); Consumer<byte[]> consumer = client.newConsumer() .topic("my-topic") .subscriptionName("my-subscription") .subscribe(); Message<byte[]> msg = consumer.receive(); System.out.println("Received message: " + new String(msg.getData())); consumer.acknowledge(msg); consumer.close(); ``` ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值