Pulsar源码解析

最新推荐文章于 2024-08-04 01:47:28 发布
原创 最新推荐文章于 2024-08-04 01:47:28 发布 · 置顶 · 3.4k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java #分布式 #消息队列

这篇博客深入解析了Pulsar的消息生产与发送过程，包括PulsarClient的构建、非分区与分区Producer的创建、消费者创建的底层实现。此外，还详细探讨了生产者如何发送消息以及消费者如何接收和消费消息的原理，涵盖了客户端和服务端的实现细节。同时，文章还介绍了Pulsar的延迟队列实现。

一、消息的生产与发送

  1. 连接建立
    Pulsar源码解析-客户端-PulsarClient构建
  2. 生产者创建(包含Topic创建原理)
    Pulsar源码解析-非分区Producer创建的底层实现
    Pulsar源码解析-分区Producer创建的底层实现
  3. 消费者创建
    Pulsar源码解析-客户端-单个消费者ConsumerImpl创建底层实现
    Pulsar源码解析-客户端-多消费者MultiTopicsConsumerImpl创建底层实现
    Pulsar源码解析-服务端-消费者创建的底层实现
  4. 生产者-发送消息原理
    Pulsar源码解析-客户端-消息发送底层实现
    Pulsar源码解析-服务端-消息发送底层实现
  5. 消费者-消费
最低0.47元/天 解锁文章
PulsarClient源码解析
linchonghui888的博客
07-17 1564
pulsar服务是经典的C/S架构，由客户端和服务端构成。服务端提供处理读写请求服务，客户端负责发起读写请求。pulsar将客户端按照读写分成了生产者和消费者，但是无论怎么分，它们本质上都是Pulsar客户端并有很多相同的地方，本篇就针对客户端进行分析。
Pulsar源码解析-服务端-消费者消息拉取的底层实现
秋风扫落叶
12-30 2509
上一篇介绍了服务端消费者的创建，本章介绍消息拉取请求实现 一、消息拉取请求入口 public class ServerCnx { protected void handleFlow(CommandFlow flow) { checkArgument(state == State.Connected); CompletableFuture<Consumer> consumerFuture = consumers.get(flow.getConsume.
pulsar源码系列（一）---搭建broker调试环境
cser的博客
05-16 790
pulsar源码系列第一篇。讲述了如何搭建pulsar broker调试环境，为调试pulsar broker源码奠定基础
Pulsar源码解析-客户端-生产者消息发送底层实现
秋风扫落叶
12-22 1382
前几篇介绍过生产者创建的底层实现，本章介绍发送的实现细节 一、分区生产者和非分区生产发送的差异 消息发送存在分区和非分区的Producer代码实现，先介绍一下区别点，然后后面流程都一样。 分区Producer需要实现选择一个具体的Producer实现，怎么选择的呢？ 创建生产者时会配置路由策略，看一下实现： public class PartitionedProducerImpl<T> { // 调用是在PartitionedProducerImpl构造中 private Mess.
Apache Pulsar消息清理流程源码分析
qq_33428967的博客
07-14 1562
示例：TTL策略指消息在指定时间未被用户Ack时会有broker主动Ack掉，由于Retention策略不会清理未Ack的消息，因此TTL策略很有必要。 TTL策略逻辑由定时任务周期执行，代码如下： 周期时间由messageExpiryCheckIntervalInMinutes控制，默认值为5分钟。 producer注册到broker是通过CommandProducer请求完成的，broker处理该请求时会加载对应topic至topics内。同时consumer注册到broker是通过CommandSu
Pulsar源码解析之PersistentTopic类
linchonghui888的博客
03-27 1294
本文主要强调PersistentTopic类的重要性、聊聊它都负责哪些事情以及大概实现，具体每个细节展开都能单独写一篇文章，这个敬请期待～
Pulsar源码解析-非分区Producer创建的底层实现
秋风扫落叶
12-22 1834
本章将详细介绍Producer创建底层的实现原理，介绍过程的代码是有删减的，只保留最核心的那部分，像参数校验这些会直接舍去，防止视觉干扰 一、客户端Producer创建入口 Producer创建是调用了PulsarClient#newProducer public class PulsarClientImpl implements PulsarClient { public ProducerBuilder<byte[]> newProducer() { return.
Apache Pulsar 1.22.0源码编译
y1170328179s的专栏
05-17 1983
                Apache Pulsar消息组件的github地址：    源码github地址：https://github.com/apache/incubator-pulsar    源码压缩包下载地址：https://github.com/apache/incubator-pulsar/releases    关于Pulsar的介绍此处不做介绍    一、当前环境说明：C...
Pulsar服务端处理消费者请求以及源码解析
linchonghui888的博客
04-03 1029
可以看到Pulsar里大量使用了异步回调处理，这样的设计在高并发场景大幅提升服务的性能，尽可能的避免了存在瓶颈的地方。不过带来的另一影响是，代码跟踪起来相对来说容易“迷路”，因此掌握好异步设计的逻辑是很有必要的，可以帮助我们更好的跟踪Pulsar的代码。
Pulsar源码解析-客户端-单个消费者ConsumerImpl创建底层实现
秋风扫落叶
12-27 1501
pulsar消费者有多种 ConsumerImpl：一个消费者客户端连接 MultiTopicsConsumerImpl：多个消费者，topic配置有多个，如果开启重试队列也是当前实现，具体看MultiTopicsConsumerImpl源码解析 PatternMultiTopicsConsumerImpl：配置正则表达式的topic，本质也是MultiTopicsConsumerImpl，主要实现了topic的自动发现。 ZeroQueueConsumerImpl：没有缓冲队列的消费者 即receive.
Pulsar源码解析-客户端-消费者接收消息的底层实现
秋风扫落叶
12-30 1460
上一篇介绍了消费者请求拉取消息，最后发送给消费者。本章介绍消费者接收。 一、客户端消息接收入口 public class ClientCnx { protected void handleMessage(CommandMessage cmdMessage, ByteBuf headersAndPayload) { checkArgument(state == State.Ready); ConsumerImpl<?> consumer = consu.
Apache Pulsar 消息确认机制原理与源码分析
qq_33428967的博客
07-21 1460
At Most Once:指消息最多只被传递一次，但有可能出现消息丢失的情况。这种保证方式适用于对数据可靠性和一致性要求不高的场景。At Least Once:消息确保至少被处理一次，但由于系统设计或不可抗力导致的处理失败，可能会出现重复处理的情况。大多数常用的消息队列，如RocketMQ、RabbitMQ和Kafka，都默认提供“至少一次”的保证。Pulsar默认也是。
Yahoo pulsar -1 Producer send和Consumer receive 过程源码剖析
sunning9001的专栏
03-27 761
1、同步发送消息   MessageId send(byte[] message) throws PulsarClientException;   private static final AtomicLongFieldUpdater&lt;ProducerImpl&gt; msgIdGeneratorUpdater = AtomicLongFieldUpdater            .new...
Pulsar源码解析之TTL
linchonghui888的博客
04-02 776
以上就是Pulsar中TTL的实现源码流程，我在这个过程中尽量省略了一些非必要的逻辑，主要是跟踪了主线，像一些地方也是值得跟踪的，感兴趣的伙伴可以自行跟踪。同时在这里我们可以看到，TTL过程只移动了游标位置并不涉及到数据的删除，说明在Pulsar的设计中将两者进行了分离，这是一种很好的职责设计思路，各自负责自己的一那部分。一方面在程序维护时可以避免改动引起一些相关性不那么大的影响，另一方面对于程序执行的整体性能来说也是比较高效的。
Pulsar源码解析-服务端-Producer消息发送底层实现
秋风扫落叶
12-23 2089
之前介绍了客户端的发送实现，客户端发送到服务端，服务端怎么处理消息的我们看一下源码实现 一、发送消息服务端入口 public class ServerCnx { protected void handleSend(CommandSend send, ByteBuf headersAndPayload) { // 获取创建时存储的生产者 CompletableFuture<Producer> producerFuture = producers.get(sen.
深入Pulsar Consumer的使用方式&源码分析
Howinfun的博客
08-28 3042
深入Pulsar Consumer的使用方式&源码分析
Apache Pulsar消息去重原理与源码分析
最新发布
qq_33428967的博客
08-04 980
例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。
pulsar源码阅读注意事项
黑曼巴
05-15 448
fork 一个仓库进行本地分支开发，避免 PR 混乱等问题，本地仓库与主仓库代码同步的问题，这里列出同步相关命令： #添加远程主仓库到 upstream git remote add upstream git@github.com:apache/pulsar.git #更新主仓库代码 git fetch upstream #本地仓库切换到 master，并 merge 最新远程代码 git checkout master git merge upstream/master git push origin
Apache Pulsar负载均衡模块原理与源码分析
qq_33428967的博客
07-21 886
负载均衡对于一个分布式系统而言是不可或缺的重要模块，Apache Pulsar 实现了 Broker 无需手工干预的动态负载均衡，得益于 Pulsar 在设计之初从架构上分离了存储层和计算层，可以更加灵活地分配 Broker 与 Topic 的映射关系。
跨平台游戏地图光照工具Pulsar LMTools解析
在“lmt Tool”中提到的“源码 资源”标签可能意味着该工具提供的不仅仅是一个应用软件，还有可能包含了能够进行编辑和优化的源码文件以及游戏所需的相关资源文件。这为游戏开发者提供了更大的灵活性和创造力空间。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值