Pulsar 配置文件详解：broker.conf、bookkeeper.conf、zookeeper.conf

最新推荐文章于 2025-09-30 05:17:11 发布
原创 最新推荐文章于 2025-09-30 05:17:11 发布 · 1k 阅读 · 17 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Pulsar #broker.conf #bookkeeper.conf #zookeeper.conf #学习

Apache Pulsar 的稳定运行和性能表现高度依赖于其核心组件的配置。理解 Broker、BookKeeper、ZooKeeper 三大组件的配置文件（broker.conf, bookkeeper.conf, zookeeper.conf）中的关键配置项，是部署、调优和运维 Pulsar 集群的必备技能。

📘 Pulsar 配置文件详解：broker.conf、bookkeeper.conf、zookeeper.conf

一、总体架构与配置关系

+---------------------+
|     Pulsar Broker    |
| - 消息路由、协议处理 | ← broker.conf
+----------+----------+
           |
           v
+----------+----------+
|   Apache BookKeeper  |
| - 持久化存储消息      | ← bookkeeper.conf
+----------+----------+
           |
           v
+----------+----------+
|    Apache ZooKeeper  |
| - 元数据、协调服务    | ← zookeeper.conf
+---------------------+

✅ 配置文件通常位于 $PULSAR_HOME/conf/ 目录下。

二、Broker 配置文件：broker.conf

1. 核心作用

  • 控制 Broker 的服务端口、资源限制、Topic 策略、复制行为、安全认证等。
  • 是 Pulsar 对外服务的核心配置。

2. 关键配置项详解

配置项默认值说明
brokerServicePort6650Pulsar 二进制协议端口（Producer/Consumer 连接）
webServicePort8080HTTP/REST 服务端口（Admin API、Pulsar Manager）
zookeeperServerslocalhost:2181连接 ZooKeeper 集群地址
configurationStoreServers同上配置存储（多集群时使用独立 ZK）
clusterNamestandalone当前集群名称（用于跨集群复制）
brokerShutdownTimeoutMs60000Broker 关闭超时时间

3. Topic 与命名空间管理

配置项说明
allowAutoTopicCreation是否允许自动创建 Topic（默认 true）
defaultNumPartitions自动创建分区 Topic 的默认分区数（如 4）
topicLevelPoliciesEnabled是否启用 Topic 级策略（动态更新）

4. 存储与 Ledger 策略（与 BookKeeper 交互）

配置项说明
managedLedgerDefaultEnsembleSize默认 Ensemble 大小（如 3）
managedLedgerDefaultWriteQuorum默认 WQ（如 3）
managedLedgerDefaultAckQuorum默认 AQ（如 2）
managedLedgerMaxLedgerSizeMB单个 Ledger 最大大小（如 512 MB）
managedLedgerMaxMarkDeleteLedgerAgeIntervalInMinutesLedger 滚动最大时间（如 360 = 6小时）

✅ 推荐：ensemble=3, writeQuorum=3, ackQuorum=2

5. 复制与多集群

配置项说明
replicationEnabled是否启用跨集群复制（Geo-Replication）
replicationClusters允许复制的集群列表（如 cluster-a,cluster-b）

6. 安全与认证

配置项说明
authenticationEnabled是否启用认证
authenticationProviders认证类（如 org.apache.pulsar.broker.authentication.AuthenticationProviderJWT）
superUserRoles超级用户角色（如 admin）
brokerClientTlsEnabledBroker 间通信是否启用 TLS

7. 性能与流控

配置项说明
maxConcurrentLookupRequests最大并发 Lookup 请求数（防 DDoS）
maxPendingPublishRequestsPerConnection每连接最大待处理发送请求数
dispatchThrottlingRatePerTopicInMsg每秒消息分发速率限制
enablePersistentTopicAutoCreation是否自动创建持久化 Topic

三、BookKeeper 配置文件：bookkeeper.conf

1. 核心作用

  • 配置 Bookie（存储节点）的行为：日志、存储、网络、副本策略、恢复机制等。
  • 直接影响 数据持久性、写入性能、恢复速度。

2. 关键配置项详解

配置项默认值说明
bookiePort3181Bookie 服务端口
zkServerslocalhost:2181连接 ZooKeeper
journalDirectory/tmp/pulsar/journalJournal 文件存储路径（必须 SSD）
ledgerDirectories/tmp/pulsar/ledgersLedger 数据存储路径
indexDirectories同 ledgerDirectories索引存储（可分离）

✅ 最佳实践：Journal 和 Ledger 存储分离，避免 I/O 争抢。

3. Journal（预写日志）配置

配置项说明
journalFlushWhenQueueEmpty是否在队列空时强制刷盘（提高持久性）
journalRollingThresholdMBJournal 文件滚动大小（如 2048 = 2GB）
journalMaxGroupWaitMSecJournal 写入最大等待时间（如 1 ms）

✅ Journal 是性能瓶颈，建议使用 NVMe SSD。

4. Ledger 存储与 GC

配置项说明
minorCompactionThreshold小合并触发比例（如 0.2）
minorCompactionInterval小合并间隔（分钟）
majorCompactionThreshold大合并阈值（如 0.5）
majorCompactionInterval大合并间隔（小时）

⚠️ BookKeeper 不支持在线压缩，compaction 仅合并 Entry Log 索引。

5. 故障恢复与副本

配置项说明
autorecoveryEnabled是否启用自动副本修复（推荐 true）
auditorEnabled是否启用审计服务（推荐 true）
auditorPeriodicBookieCheckInterval审计检查间隔（秒）

6. 性能调优

配置项说明
numJournalCallbackThreadsJournal 回调线程数（建议 CPU 核数）
numAddWorkerThreads写入工作线程数
nettyMaxFrameSizeBytesNetty 最大帧大小（如 5242880 = 5MB）

四、ZooKeeper 配置文件：zookeeper.conf

1. 核心作用

  • 配置 ZooKeeper 服务本身（在 Pulsar 中通常用于元数据存储和协调）。
  • 在生产环境中，ZooKeeper 通常是独立部署的集群。

2. 关键配置项详解

配置项默认值说明
dataDir/tmp/zookeeper内存快照和事务日志目录
dataLogDir同 dataDir事务日志目录（建议分离到 SSD）
clientPort2181客户端连接端口
tickTime2000ZooKeeper 心跳间隔（毫秒）
initLimit10Follower 初始连接超时（tickTime 倍数）
syncLimit5Follower 同步超时
maxClientCnxns60每个客户端最大连接数（可调大）
autopurge.snapRetainCount3保留快照数量
autopurge.purgeInterval0自动清理间隔（小时，设为 1 启用）

✅ 生产建议：

  • dataLogDir 使用独立 SSD
  • autopurge.purgeInterval=1 启用自动清理
  • maxClientCnxns=1000 防止连接数不足

3. 集群配置（zoo.cfg 或 conf/zookeeper.conf）

server.1=zoo1:2888:3888
server.2=zoo2:2888:3888
server.3=zoo3:2888:3888
  • 2888：Follower 连接 Leader
  • 3888：Leader 选举

五、配置文件最佳实践

实践建议
✅ 生产环境禁用 auto-createallowAutoTopicCreation=false，预注册 Topic
✅ 分离 Journal 和 Ledger 存储避免 I/O 争抢
✅ ZooKeeper 使用独立磁盘提升协调性能
✅ 启用 Autorecovery 和 Auditor提升可用性
✅ 合理设置 Ledger 滚动策略防止过大 Ledger 影响 GC
✅ 监控关键指标backlog、under-replicated、disk usage
✅ 配置文件版本化存入 Git，配合 CI/CD
✅ 使用环境变量覆盖在容器中使用 PULSAR_PREFIX_ 前缀

示例（Kubernetes）：

env:
  - name: PULSAR_PREFIX_zookeeperServers
    value: "zk1:2181,zk2:2181,zk3:2181"

六、配置验证与调试

# 查看当前生效配置
pulsar-admin brokers config

# 检查 Bookie 状态
bookkeeper shell bookiesanity

# 查看 ZooKeeper 运行状态
echo stat \| nc localhost 2181

✅ 总结

组件配置文件核心关注点
Brokerbroker.conf服务端口、Topic 策略、复制、安全、流控
BookKeeperbookkeeper.confJournal/存储路径、WQ/AQ、Autorecovery、性能调优
ZooKeeperzookeeper.confdataDir/dataLogDir 分离、自动清理、连接数

📌 一句话总结：

broker.conf 决定“服务行为”，bookkeeper.conf 决定“存储可靠性”，zookeeper.conf 决定“协调稳定性” —— 三者协同，构建高可用 Pulsar 集群。

3-pulsar配置文件详解
xuebo1129927648的博客
07-29 107
Broker 配置（核心消息节点配置）BookKeeper 配置（持久化存储节点配置）ZooKeeper 配置（元数据管理配置）Proxy 配置proxy.conf（客户端代理节点配置）其他组件配置：如（函数工作节点）、（Schema 注册表）等。配置优先级：默认配置（内置） < 自定义配置文件（如） < 环境变量（如修改配置后需重启对应组件生效。参数位置（BookKeeper 配置文件）参数作用。
Apache Pulsar 2.6.0 重磅发布，新特性独家解读
Apache Pulsar
07-15 1217
在 Pulsar 2.5.2 版本发布后的 1 个月，2020 年 6 月 18 日，Apache Pulsar 正式发布了 2.6.0 版本！ Pulsar 2.6.0 版本新增了诸多功能，并修复了大量漏洞，覆盖存储端、Broker 端、客户端、Pulsar Functions、Pulsar IO、Pulsar SQL、Pulsar proxy 和安全等多方面，一如既往地丰富和完善了 Pulsar 作为一个云原生流数据平台的能力。 2.6.0 版本总共接受了来自社区约 450 个 commits，越来越多
Pulsar部署与参数配置
爱吃辣条的博客
01-18 964
Pulsar部署流程
【RocketMQ】broker.conf 配置文件
qq_44077764的博客
08-21 222
【RocketMQ】broker.conf 配置文件
Apache Pulsar BookKeeper性能调优：ledger与entry配置
最新发布
gitblog_00105的博客
09-30 992
在分布式消息系统Apache Pulsar中，BookKeeper作为底层存储引擎，负责提供高可用、持久化的日志存储服务。ledger（账本）和entry（条目）是BookKeeper的核心概念，其配置直接影响Pulsar集群的吞吐量、延迟和稳定性。本文将从实际应用场景出发，详细解析如何通过优化ledger与entry相关配置提升BookKeeper性能。 ## BookKeeper核心配置文件...
RocketMQ（四）Broker配置文件详解
weixiaohuai的博客
03-20 8291
# Licensed to the Apache Software Foundation (ASF) under one or more # contributor license agreements. See the NOTICE file distributed with # this work for additional information regarding copyright ownership. # The ASF licenses this file to You under th.
pulsar配置文件常用配置项
黑曼巴
03-07 2364
#bookeeper.conf配置 zkTimeout=30000 zkServers=localhost:2181/pulsar zkLedgersRootPath=/ledgers zkEnableSecurity=false writeBufferSizeBytes=65536 useHostNameAsBookieID=false statsProviderClass=org.apache.bookkeeper.stats.prometheus.PrometheusMetricsProvider s
rocketmq_broker.conf
12-04
RocketMQ 配置文件：（下面是默认配置） brokerClusterName = DefaultCluster brokerName = broker-a brokerId = 0 deleteWhen = 04 fileReservedTime = 48 brokerRole = ASYNC_MASTER flushDiskType = ASYNC_FLUSH
apache-pulsar-2.6.0-bin.tar.gz
07-05
- 初始化Pulsar集群：配置`conf/broker.conf`等配置文件，根据需求设置集群参数。 - 启动Pulsar Broker：执行`bin/pulsar-daemon start broker`启动服务。 - 创建命名空间和主题：使用Pulsar CLI工具创建命名空间...
【中间件】Pulsar集群安装
m0_74824091的博客
01-21 996
pulsar是一个云原生企业级的发布订阅（pub-sub）消息系统，最初由Yahoo开发，并于2016年底开源，现在是Apache软件基金会顶级开源项目。Pulsar在Yahoo的生产环境运行了三年多，助力Yahoo的主要应用，如Yahoo Finance、Yahoo Sports、Flickr、Gemini广告平台和Yahoo分布式键值存储系统Sherpa。多租户模式灵活的消息系统云原生架构segmented Sreams(分片流)支持跨地域复制。
Apache Pulsar部署搭建
hello.reader
05-24 5027
如果不指定 --url 参数并且没有在 conf/client.conf 文件中指定 pulsar 集群连接信息，则默认连接的是 pulsar://localhost:6650/。可以指定 --url pulsar://192.168.1.147:6650 或者 --url http://192.168.1.147:8080 与 broker 进行交互。访问 http://192.168.1.147:7750/bkvm 查看 bookie 信息，用户名：admin，密码：admin。
Pulsar详解2—架构和组件 & 安装和配置（示例：Go语言）
风不归的乐园
12-20 2154
Pulsar：架构和组件：分层架构、BookKeeper和ZooKeeper、Broker服务、Pulsar IO（连接器）；安装和配置：安装步骤、配置文件
RocketMQ-broker.conf 配置文件
v慕言的博客
07-10 7465
# Licensed to the Apache Software Foundation (ASF) under one or more # contributor license agreements. See the NOTICE file distributed with # this work for additional information regarding copyright ownership. # The ASF licenses this file to You under the
RocketMQ 5.3.0 Broker 配置文件解析
学亮编程手记
07-08 474
【代码】RocketMQ 5.3.0 Broker 配置文件解析。
docker compose安装rocketMQ,broker无法启动，报错broker.conf File not found
55555的博客
05-08 3125
docker compose安装rocketMQ,broker无法启动，报错broker.conf File not found 问题背景 我是用mac系统，在docker上采用docker-compose的方式安装的rocketMQ，broker容器一直启动不起来，查看日志是报错broker.conf File not found（is a directory） 解决 这个问题花了我共计好几个小时的时间，特此记录一下。其实错误很简单，但关键是我自己忽略了，当时钻牛角尖钻进去了，一直以为是容器映射、权限、r
RocketMQ：broker配置说明
进击的小白
05-14 2978
66. maxTransferBytesOnMessageInMemory: 内存中消息的最大传输字节数。14. maxTransferCountOnMessageInMemory: 内存中消息的最大传输计数。38. maxTransferBytesOnMessageInDisk: 磁盘上消息的最大传输字节数。71. deleteConsumeQueueFilesInterval: 删除消费队列文件的时间间隔。36. deleteCommitLogFilesInterval: 删除提交日志文件的时间间隔。
在学习rockemq 遇到的broker.conf 配置问题
weixin_56689866的博客
03-27 1891
报的错误 就是访问不到我的服务器 解决：修改broke.conf 进入我们的bfoke.conf cd conf 编辑文本 vim broker.conf 按 i 开始编辑 esc 退出编辑 shift + ： 三个键一起按住 在输入wq 保存 brokerClusterName = DefaultCluster brokerName = broker-a brokerId = 0 deleteWhen = 04 fileReservedTime = 48 brokerRole ...
pulsar起client客户端时(client,producer,consumer)各个配置选项的含义
热门推荐
weixin_43832846的博客
03-08 1万+
producer 参考代码 // 构造生产者 this.producer = client.newProducer(Schema.BYTES) .producerName(judgeValue(“producerName”)) .topic(judgeValue(“topic”)) .batchingMaxMessages(Integer.parseInt(judgeValue(“batching...
Mq之pulsar的入门使用（一）
u014642921的博客
03-21 2165
docker容器的部署效率会更高。若使用docker容器搭建效率应该会更高。后面会使用容器进行搭建发布出来。》》docker容器的官网使用docker compose插件方式部署，可以尝试一下》》错误问题继续排查。那个[错误](#err)虽然不影响使用, 但是挺纠结，在尝试使用docker部署时关注这一点，进行纠错, 并在这个文章里进行更新.pulsar集群安装的文章中提到了如何解决这个问题，但是不起作用pulsar的部署需要搭配的内容真不少。注：bookeeper，主要用于持久化存储等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值