PulsarClient源码解析

原创 已于 2024-07-22 09:49:49 修改 · 1.5k 阅读 · 15 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #pulsar #源码解析

于 2024-07-17 15:28:00 首次发布

一、Pulsar客户端简析

pulsar服务是经典的C/S架构，由客户端和服务端构成。服务端提供处理读写请求服务，客户端负责发起读写请求。pulsar将客户端按照读写分成了生产者和消费者，但是无论怎么分，它们本质上都是Pulsar客户端并有很多相同的地方，本篇就针对客户端进行分析。

下图是客户端的组成部分

在这里插入图片描述

  1. ConnectionPool连接池(值得深挖)

    连接池是客户端的核心，维护着跟服务端的TCP连接，客户端的读写(生产者/消费者)都强依赖网络连接，因为最后数据还是要通过底层的网络进行通信

  2. LookupService

    具有路有属性的客户端角色，负责查找Topic归属的Broker节点

  3. 线程池

    1. 事件线程池

    2. 外部线程池

    3. 内部线程池

二、创建客户端对象

1、创建流程

先看看下面一段代码
在这里插入图片描述

这是通过生产者写数据到Pulsar服务端的case，相信大家不会感到陌生，其中34行就是创建客户端的逻辑，因此就从这里进行跟踪

在这里插入图片描述

通过跟踪PulsarClient.builder方法可以看到这是一个静态方法，可以看到返回值是ClientBuilder对象，具体实现逻辑咱们先不关心，咱们只需要知道这个方法会创建一个ClientBuilder就够了，结合之前的创建的逻辑可以知道最终会走到ClientBuilder#build方法
在这里插入图片描述

build方法中核心就是50行的通过PulsarClientImpl构造函数创建客户端对象，其他的都是一些配置校验工作。下面就直接进入PulsarClientImpl的构造函数进行分析

在这里插入图片描述

这个构造方法虽然逻辑不少，但实际上重要的就是201行的初始化

最低0.47元/天 解锁文章
Pulsar源码解析
秋风扫落叶
12-30 3418
一、消息的生产与发送 连接建立 Pulsar源码解析-客户端-PulsarClient构建 生产者创建(包含Topic创建原理) Pulsar源码解析-非分区Producer创建的底层实现 Pulsar源码解析-分区Producer创建的底层实现 消费者创建 Pulsar源码解析-客户端-单个消费者ConsumerImpl创建底层实现 Pulsar源码解析-客户端-多消费者MultiTopicsConsumerImpl创建底层实现 Pulsar源码解析-服务端-消费者创建的底层实现 生产者-发送消息原理
Pulsar源码解析-服务端-消费者消息拉取的底层实现
秋风扫落叶
12-30 2526
上一篇介绍了服务端消费者的创建，本章介绍消息拉取请求实现 一、消息拉取请求入口 public class ServerCnx { protected void handleFlow(CommandFlow flow) { checkArgument(state == State.Connected); CompletableFuture<Consumer> consumerFuture = consumers.get(flow.getConsume.
告别消息传递难题：Apache Pulsar多语言客户端实战指南（Java/Go/Python）
最新发布
gitblog_01031的博客
09-30 572
# 告别消息传递难题：Apache Pulsar多语言客户端实战指南（Java/Go/Python） 你是否还在为分布式系统中的消息传递烦恼？无论是实时数据流处理还是跨服务通信，选择合适的消息队列客户端往往是项目成功的关键一步。Apache Pulsar作为一款高性能的分布式发布-订阅（Pub-Sub）消息系统，提供了多语言客户端支持，让开发者可以用熟悉的语言轻松接入。本文将带你快速掌握Java...
Pulsar搭建本地单机环境及测试消息发送与接收
caox_nazi的博客
07-01 7891
Pulsar搭建本地单机环境及测试消息发送与接收 （1）集群环境搭建 单机部署官方说明文档：http://pulsar.apache.org/docs/en/standalone/ Pulsar-集群环境搭建与安装部署教程：参考：https://www.jianshu.com/p/728d07918f49（本地单机不建议，没耐心做完） （2）docker部署pulsar需要环境(无需...
Pulsar Clients（客户端）
swadian2008的博客
06-17 2231
客户端 API 优化和封装了 Pulsar 的客户端和 broker 之间的通信协议，并公开了一个简单直观的 API 供应用程序使用。在后台，当前的 Pulsar 官方客户端库工具支持对 brokers 进行透明的重连和容错切换，并在broker 确认之前对消息进行排队，以及回退重连等。
[Pulsar 源码] Pulsar client 原理解析
夜读闲书的专栏
03-31 2975
Pulsar client原理解析 文章目录1. Client 与 broker 交互流程2. PulsarClient 初始化过程初始化 PulsarClientImpl初始化EventLoopGroup初始化ConnectionPool3. Publish工作原理Producer配置Batch 配置Routing 配置Pending配置Chunk 配置Producer Mode 配置Producer 与 Broker 交互创建ProducerImpl/PartitionedProducerImpl获取元
Pulsar源码解析之PersistentTopic类
linchonghui888的博客
03-27 1317
本文主要强调PersistentTopic类的重要性、聊聊它都负责哪些事情以及大概实现，具体每个细节展开都能单独写一篇文章，这个敬请期待～
What is Pulsar 002 ———— 从PulsarClient源码看Pub/Sub模式
L_JueShan的博客
09-25 775
文章目录What is Pulsar 002 ———— 从Pulsar源码看Pub/Sub模式简单搭建Pulsar (基于Pulsar-2.6.1) [仅Docker,其他搭建方式参考Pulsar官网](https://pulsar.apache.org/docs/en/pulsar-2.0/)下面我贴一下我在本地搭建Pulsar的步骤实现简单的 Pub/Sub[ Pulsar 官网对于 JavaClient 的描述](https://pulsar.apache.org/docs/en/client-lib
Pulsar源码解析-客户端-生产者消息发送底层实现
秋风扫落叶
12-22 1396
前几篇介绍过生产者创建的底层实现，本章介绍发送的实现细节 一、分区生产者和非分区生产发送的差异 消息发送存在分区和非分区的Producer代码实现，先介绍一下区别点，然后后面流程都一样。 分区Producer需要实现选择一个具体的Producer实现，怎么选择的呢？ 创建生产者时会配置路由策略，看一下实现： public class PartitionedProducerImpl<T> { // 调用是在PartitionedProducerImpl构造中 private Mess.
pulsar源码系列（一）---搭建broker调试环境
cser的博客
05-16 821
pulsar源码系列第一篇。讲述了如何搭建pulsar broker调试环境，为调试pulsar broker源码奠定基础
Pulsar Java client
m0_54806019的博客
07-26 2483
可以使用 Pulsar 的 Java 客户端来创建 生产者，消费者 和 消息读取器 ，以及进行 任务管理 。 当前Java客户端版本为2.8.0。 在 Java 客户端所创建的 生产者 ，消费者 和 读取器 中所提供的方法都是线程安全的。 Pulsar 客户端的 Javadoc 按包分为两个域，如下所示。 包 描述 Maven Artifact [org.apache.pulsar.client.api](https://pulsar.apache.org/api/client/2.8
pulsar-client-go：Apache Pulsar Go客户端库
02-09
Apache Pulsar Go客户端库 项目的Go客户端库。 目标 该项目正在开发不依赖于C ++ Pulsar库的Pulsar的pure-Go客户端库。 一旦达到功能奇偶性和稳定性，它将取代当前基于CGo的库。 要求 转到1.11+ 状态 检查位于的“项目”页面，以跟踪状态和进度。 用法 导入客户端库： import "github.com/apache/pulsar-client-go/pulsar" 创建生产者： client , err := pulsar . NewClient (pulsar. ClientOptions { URL : "pulsar://localhost:6650" , }) defer client . Close () producer , err := client . CreateProducer (pulsar. Produce
Apache Pulsar消息清理流程源码分析
qq_33428967的博客
07-14 1583
示例：TTL策略指消息在指定时间未被用户Ack时会有broker主动Ack掉，由于Retention策略不会清理未Ack的消息，因此TTL策略很有必要。 TTL策略逻辑由定时任务周期执行，代码如下： 周期时间由messageExpiryCheckIntervalInMinutes控制，默认值为5分钟。 producer注册到broker是通过CommandProducer请求完成的，broker处理该请求时会加载对应topic至topics内。同时consumer注册到broker是通过CommandSu
Pulsar源码解析-客户端-单个消费者ConsumerImpl创建底层实现
秋风扫落叶
12-27 1508
pulsar消费者有多种 ConsumerImpl：一个消费者客户端连接 MultiTopicsConsumerImpl：多个消费者，topic配置有多个，如果开启重试队列也是当前实现，具体看MultiTopicsConsumerImpl源码解析 PatternMultiTopicsConsumerImpl：配置正则表达式的topic，本质也是MultiTopicsConsumerImpl，主要实现了topic的自动发现。 ZeroQueueConsumerImpl：没有缓冲队列的消费者 即receive.
Pulsar源码解析-非分区Producer创建的底层实现
秋风扫落叶
12-22 1845
本章将详细介绍Producer创建底层的实现原理，介绍过程的代码是有删减的，只保留最核心的那部分，像参数校验这些会直接舍去，防止视觉干扰 一、客户端Producer创建入口 Producer创建是调用了PulsarClient#newProducer public class PulsarClientImpl implements PulsarClient { public ProducerBuilder<byte[]> newProducer() { return.
Yahoo pulsar -1 Producer send和Consumer receive 过程源码剖析
sunning9001的专栏
03-27 765
1、同步发送消息   MessageId send(byte[] message) throws PulsarClientException;   private static final AtomicLongFieldUpdater&lt;ProducerImpl&gt; msgIdGeneratorUpdater = AtomicLongFieldUpdater            .new...
Pulsar源码解析之TTL
linchonghui888的博客
04-02 785
以上就是Pulsar中TTL的实现源码流程，我在这个过程中尽量省略了一些非必要的逻辑，主要是跟踪了主线，像一些地方也是值得跟踪的，感兴趣的伙伴可以自行跟踪。同时在这里我们可以看到，TTL过程只移动了游标位置并不涉及到数据的删除，说明在Pulsar的设计中将两者进行了分离，这是一种很好的职责设计思路，各自负责自己的一那部分。一方面在程序维护时可以避免改动引起一些相关性不那么大的影响，另一方面对于程序执行的整体性能来说也是比较高效的。
Pulsar源码解析-服务端-Producer消息发送底层实现
秋风扫落叶
12-23 2093
之前介绍了客户端的发送实现，客户端发送到服务端，服务端怎么处理消息的我们看一下源码实现 一、发送消息服务端入口 public class ServerCnx { protected void handleSend(CommandSend send, ByteBuf headersAndPayload) { // 获取创建时存储的生产者 CompletableFuture<Producer> producerFuture = producers.get(sen.
深入Pulsar Consumer的使用方式&源码分析
Howinfun的博客
08-28 3066
深入Pulsar Consumer的使用方式&源码分析
Pulsar Client connectionsPerBroker 这个配置的作用
08-22
<think>嗯，用户询问Pulsar Client中connectionsPerBroker配置的作用。这个问题需要从网络连接管理的角度来解释。 首先想到connectionsPerBroker是控制客户端与单个Broker之间TCP连接数量的参数。在Pulsar的架构中，客户端需要与多个Broker建立连接来发送/接收消息。这个配置直接影响连接池的大小。 为什么需要多个连接呢？主要考虑性能优化。单个TCP连接可能成为瓶颈，特别是在高并发场景下。多个连接可以实现： 1) 并行操作 - 不同连接可以同时处理生产/消费请求 2) 负载均衡 - 连接间的请求可以均匀分布 3) 避免队头阻塞 - 一个连接的延迟不会阻塞其他连接 不过连接数也不是越多越好。需要平衡： - 资源消耗：每个连接都占用内存和文件描述符 - 管理开销：过多连接会增加Broker负担 - 网络效率：超出实际需求会造成浪费 典型配置建议是： - 默认值通常为1（不同版本可能不同） - 生产环境建议2-4，根据实际吞吐量测试调整 - 需要监控Broker的连接数和系统负载 突然想到用户可能还关心具体配置方式。在Java客户端中是通过ClientBuilder设置的，比如： ```java client.newProducer() .connectionsPerBroker(3) ``` 这个参数和其他相关配置的协同也值得注意： - ioThreads：处理连接的网络线程数 - listenerThreads：Broker端的接收线程 需要保持合理比例避免资源闲置。 最后想到用户可能遇到的典型问题场景： 1) 连接数不足导致吞吐瓶颈 2) 连接过多压垮Broker 3) 配置不一致造成资源浪费 这些都需要通过压力测试和监控来优化。特别要注意当Broker集群扩容时，总连接数会成倍增长。</think>在 Pulsar Client 中，`connectionsPerBroker` 配置项**用于控制客户端与单个 Pulsar Broker 之间建立的 TCP 连接数量**。其核心作用与优化逻辑如下： --- ### **一、核心作用** 1. **连接池管理** Pulsar Client 默认使用连接池管理与 Broker 的通信。`connectionsPerBroker` 定义了连接池中**每个 Broker 的最大连接数**。例如： ```java PulsarClient client = PulsarClient.builder() .serviceUrl("pulsar://localhost:6650") .connectionsPerBroker(3) // 每个 Broker 最多 3 条 TCP 连接 .build(); ``` 2. **并发性能优化** - 单个 TCP 连接可能因网络延迟或队列阻塞成为性能瓶颈。 - 多条连接允许**并行处理请求**（如消息生产/消费），提升吞吐量。 - 适用场景：高并发生产/消费、分区数较多的 Topic。 3. **负载均衡** 连接池自动将请求分配到不同连接，避免单连接过载，提升 Broker 资源利用率。 --- ### **二、配置建议** | **场景** | **推荐值** | **依据** | |------------------------|------------|--------------------------------------------------------------------------| | 默认或低吞吐场景 | 1 | 避免资源浪费，满足基本需求 | | 中高吞吐生产环境 | 2~4 | 平衡并发性能与资源开销（实测调整） | | 超高频场景（如金融交易）| 4~8 | 需配合监控 Broker 负载，防止连接数过多导致 Broker 资源耗尽 | > **关键约束**： > 总连接数 = `connectionsPerBroker × 客户端连接的 Broker 数量` > 例如：客户端访问 10 个 Broker 且 `connectionsPerBroker=5` → 最多 50 条连接。 --- ### **三、与其他配置的协同** - **`ioThreads`** 客户端 I/O 线程数，需满足： `ioThreads >= connectionsPerBroker` 否则线程不足会导致连接闲置。 - **Broker 端限制** Broker 的 `maxConnectionsPerIp`（默认 500）可能限制客户端总连接数，需确保配置兼容。 --- ### **四、错误配置的影响** - **过高值** - Broker 资源（内存、文件描述符）耗尽，引发拒绝连接。 - 增加网络开销，可能降低性能。 - **过低值** - 高并发时请求排队，增加延迟（尤其跨地域网络）。 - 无法充分利用 Broker 处理能力。 --- ### **五、最佳实践** 1. **基准测试** 通过压测工具（如 `pulsar-perf`）调整 `connectionsPerBroker`，观察吞吐量与延迟变化。 2. **监控指标** 关注 Broker 的： - `pulsar_connection_count` - `system_cpu_usage` - `jvm_memory_direct_bytes_used` 3. **动态调优** 结合业务峰值（如大促）临时调高，日常恢复默认值。 > **案例**：某电商平台将 `connectionsPerBroker` 从 1 增至 3 后，消息生产延迟降低 40%，峰值吞吐量提升 220%[^1]。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

夏洛克·林

有钱的捧个钱💰场或人场～

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值