Pulsar 性能调优与故障排除详解

Pulsar 性能调优与故障排除 是保障消息系统高吞吐、低延迟、高可用的关键环节。Pulsar 作为一个分布式系统，其性能可能受限于 网络、CPU、内存、磁盘 I/O、JVM GC 等多个层面。掌握如何分析瓶颈并针对性调优，是运维和架构师的核心能力。

---

📘 Pulsar 性能调优与故障排除详解

---

一、性能调优与故障排除流程

1. 现象观察（延迟高、吞吐低、连接失败）
   ↓
2. 指标监控（Prometheus + Grafana）
   ↓
3. 定位瓶颈（网络？CPU？磁盘？GC？）
   ↓
4. 日志分析（Broker/Bookie/ZK 日志）
   ↓
5. 调整配置或资源
   ↓
6. 验证效果

✅ 核心原则：先监控，再调优，避免盲目优化。

---

二、常见性能问题与瓶颈分析

1. 🌐 网络瓶颈

症状：

• 生产/消费延迟高
• 吞吐上不去
• Connection closed 错误

检查项：

检查点	工具/命令
带宽使用率	iftop, nethogs, sar -n DEV
网络延迟	ping, mtr
TCP 重传	netstat -s | grep retransmit
Broker 网络队列	ss -lnt

调优建议：

• 使用 10Gbps 网络，避免千兆瓶颈
• 启用 Jumbo Frame（MTU 9000）
• 避免跨机房高延迟网络
• 调整 TCP 缓冲区：

# /etc/sysctl.conf
net.core.rmem_max = 134217728
net.core.wmem_max = 134217728

---

2. 💻 CPU 瓶颈

症状：

• Broker/Bookie CPU 使用率 > 80%
• 延迟升高
• GC 频繁

检查项：

检查点	工具/命令
CPU 使用率	top, htop
CPU 核数	nproc
线程状态	jstack, jcmd

调优建议：

• Broker：
  • 增加 numIOThreads（Netty 线程数）
  • 调整 dispatchThrottlingRate 防止过载
• Bookie：
  • 增加 numJournalCallbackThreads
  • 启用 journalFlushWhenQueueEmpty=true
• 通用：
  • 使用 多核 CPU（建议 16 核以上）
  • 避免 CPU 密集型任务（如压缩）抢占主线程

---

3. 💾 磁盘 I/O 瓶颈（Bookie 核心瓶颈）

症状：

• journal_write_latency > 10ms
• bookie_disk_usage 高
• 写入超时

检查项：

检查点	工具/命令
磁盘延迟	iostat -x 1
磁盘使用率	df -h
I/O 队列	iotop

调优建议：

• 分离 Journal 和 Ledger 存储：

  journalDirectory=/ssd/journal
  ledgerDirectories=/hdd/ledgers
  

• Journal 必须使用 NVMe SSD，低延迟
• 增大 Journal 缓冲：

  journalWriteBufferSizeKB=1024
  

• 启用 G1GC 减少 GC 暂停

---

4. 🧠 内存瓶颈

症状：

• JVM 内存使用率高
• GC 频繁
• OutOfMemoryError

检查项：

检查点	工具/命令
JVM 内存使用	jstat -gc, jconsole
堆外内存	Native Memory Tracking (NMT)
Direct Memory	io.netty.maxDirectMemory

调优建议：

• 合理设置 JVM 堆大小：

  -Xms8g -Xmx8g  # 建议 8~16GB
  

• 使用 G1GC：

  -XX:+UseG1GC -XX:MaxGCPauseMillis=10
  

• 控制 Netty 缓存：

  managedLedgerCacheSizeMB=2048
  

• 监控堆外内存，防止 Direct Memory 溢出

---

5. ♻️ JVM GC 瓶颈

症状：

• GC 暂停时间长（> 50ms）
• 应用停顿（Stop-The-World）
• 延迟毛刺（GC Pause）

检查项：

检查点	工具/命令
GC 日志	-Xlog:gc*:file=gc.log
GC 暂停	Prometheus jvm_gc_pause_seconds_max
GC 类型	jstat -gc

调优建议：

• 使用 G1GC（推荐）：

  -XX:+UseG1GC
  -XX:MaxGCPauseMillis=10
  -XX:G1HeapRegionSize=16m
  

• 避免 Full GC：
  • 不要设置过小的堆
  • 避免内存泄漏
• 监控 GC 日志，分析暂停原因

---

三、各组件性能调优要点

1. 🖥️ Broker 调优

# broker.conf
# Netty 线程
numIOThreads=8
numWorkerThreads=8

# 流控
dispatchThrottlingRatePerTopicInMsg=10000
maxConcurrentLookupRequests=50000

# 缓存
managedLedgerCacheSizeMB=2048
managedLedgerOffloadCacheEnabled=true

# JVM
-Xms8g -Xmx8g -XX:+UseG1GC -XX:MaxGCPauseMillis=10

---

2. 📦 Bookie 调优

# bookkeeper.conf
# Journal 性能
journalFlushWhenQueueEmpty=true
journalRollingThresholdMB=2048
numJournalCallbackThreads=4

# Ledger 性能
logWriteCacheMaxSizeMB=2048
nettyMaxFrameSizeBytes=5242880

# JVM
-Xms8g -Xmx8g -XX:+UseG1GC -XX:MaxGCPauseMillis=10

---

3. 🧩 ZooKeeper 调优

# zookeeper.conf
# 性能
tickTime=2000
initLimit=10
syncLimit=5
preAllocSize=65536
snapCount=3000000

# 日志分离
dataLogDir=/ssd/zookeeper-txn

# JVM
-Xms4g -Xmx4g -XX:+UseG1GC

---

四、故障排除常用命令

1. 监控命令

# 网络
iftop -i eth0
sar -n DEV 1

# 磁盘
iostat -x 1
iotop

# CPU
top -H -p $(pgrep java)

# JVM
jstat -gc <pid> 1s
jstack <pid> > thread-dump.txt

2. Pulsar 诊断命令

# 查看 Topic 统计
pulsar-admin topics stats my-topic

# 查看 Backlog
pulsar-admin topics stats my-topic --subscription sub1

# 查看 Bookie 状态
bookkeeper shell bookieinfo

# 检查 Ledger 完整性
bookkeeper shell ledgerchecker -l 1001

---

五、性能压测工具

1. pulsar-perf

# 生产者压测
bin/pulsar-perf produce my-topic -r 10000 -s 1024

# 消费者压测
bin/pulsar-perf consume my-topic -s sub1

# 持续压测（带监控）
bin/pulsar-perf produce my-topic -r 10000 -s 1024 --stats-interval-seconds 10

2. 自定义客户端压测

使用 Java/Python 客户端模拟真实业务场景。

---

六、最佳实践总结

问题类型	诊断方法	调优手段
网络瓶颈	iftop, iostat	升级带宽、Jumbo Frame
CPU 瓶颈	top, jstack	增加线程、优化配置
磁盘 I/O	iostat, iotop	分离 Journal/Ledger，用 SSD
内存不足	jstat, jconsole	调整堆大小，使用 G1GC
GC 毛刺	GC 日志，Prometheus	优化 GC 参数，减少 Full GC

---

✅ 总结

层面	关键指标	调优目标
网络	带宽、延迟、重传	低延迟、高吞吐
CPU	使用率、线程数	避免瓶颈
磁盘	I/O 延迟、队列	Journal < 10ms
内存	堆使用、Direct Memory	避免 OOM
GC	暂停时间、频率	< 10ms

📌 一句话总结：

Pulsar 性能 = 网络 + 磁盘 + JVM 的精细调优 —— 通过监控、日志、压测三位一体，定位瓶颈，针对性优化，才能构建一个稳定、高效的消息系统。