ZooKeeper 监控详解

以下是关于 ZooKeeper 监控 的全面、系统化详解，涵盖你提到的四大方面：四字命令、JMX、日志、关键监控指标，并补充最佳实践与集成方案（如 Prometheus + Grafana），适用于生产环境运维。

---

🌟 ZooKeeper 监控详解

ZooKeeper 是分布式系统的核心协调服务，其稳定性直接影响 Kafka、HBase、Dubbo 等依赖它的系统。因此，建立完善的监控体系至关重要。

---

一、四字命令（Four Letter Words）

ZooKeeper 提供一组“四字命令”，通过 telnet 或 nc（netcat）发送到 ZooKeeper 端口（默认 2181），用于快速诊断健康状态和性能。

⚠️ 注意：需在 zoo.cfg 中配置允许这些命令（3.4.10+ 默认开启部分命令）：

4lw.commands.whitelist=stat,ruok,mntr,cons,srvr,envi,wchc,wchp

常用四字命令说明：

命令	说明	使用方式	输出示例/用途
stat	查看 ZooKeeper 基本状态（客户端连接数、延迟、模式等）	echo stat | nc localhost 2181	包含延迟、连接数、ZNode 数、模式（leader/follower）
srvr	仅显示服务器信息（比 stat 简洁）	echo srvr | nc localhost 2181	输出 leader/follower 角色、启动时间等
ruok	检查是否健康	echo ruok | nc localhost 2181	返回 imok 表示正常
mntr	监控专用，输出机器可读的指标（推荐用于 Prometheus 采集）	echo mntr | nc localhost 2181	输出 zk_avg_latency 10 等 key-value 格式
cons	列出当前所有客户端连接及会话信息	echo cons | nc localhost 2181	查看 IP、会话 ID、临时节点数，排查异常连接
wchc	按 session 列出 Watch 事件（可能输出巨大）	echo wchc | nc localhost 2181	排查 Watch 泄漏
wchp	按路径列出 Watch 事件	echo wchp | nc localhost 2181	分析哪些路径被频繁监听
dirs	显示事务日志和快照目录的磁盘使用情况	echo dirs | nc localhost 2181	监控磁盘空间
envi	显示环境变量（JVM 参数、配置等）	echo envi | nc localhost 2181	调试配置问题

💡 提示：wchc 和 wchp 可能阻塞 ZooKeeper，建议仅在排查时使用。

---

二、JMX 监控（Java Management Extensions）

ZooKeeper 基于 Java 开发，暴露了丰富的 JMX MBean，可通过 JConsole、VisualVM、Prometheus 等工具监控。

启用 JMX（通常默认启用）

确保启动脚本中包含 JMX 配置（如 zkServer.sh）：

JMXLOCALONLY=false
JMXDISABLE=false

关键 MBean 指标路径示例：

MBean 对象名	指标含义
org.apache.ZooKeeperService:name0=StandaloneServer_port-*	单机模式服务器
org.apache.ZooKeeperService:name0=ReplicatedServer_id-*	集群模式
name1=Leader / name1=Follower	角色状态
zk_avg_latency	平均请求延迟（ms）
zk_max_latency	最大延迟
zk_packets_received / zk_packets_sent	收发包数
zk_num_alive_connections	活跃连接数
zk_outstanding_requests	未处理请求数（积压）
zk_znode_count	ZNode 总数
zk_watch_count	Watch 总数
zk_open_file_descriptor_count	已打开文件描述符数
zk_max_file_descriptor_count	文件描述符上限

📊 工具推荐：

• JConsole：JDK 自带，图形化查看 MBean。
• VisualVM：更强大，支持插件。
• Prometheus + JMX Exporter：生产推荐方案（见下文）。

---

三、日志监控

ZooKeeper 日志是排查问题的第一手资料。

日志文件位置

• 默认：zookeeper.out（控制台输出重定向）
• 实际日志：由 log4j.properties 配置，通常位于 conf/log4j.properties
• 常见路径：logs/zookeeper-server-*.log

关键日志配置（log4j.properties）

log4j.rootLogger=INFO, ROLLINGFILE
log4j.appender.ROLLINGFILE=org.apache.log4j.DailyRollingFileAppender
log4j.appender.ROLLINGFILE.File=/opt/zookeeper/logs/zookeeper.log
log4j.appender.ROLLINGFILE.layout=org.apache.log4j.PatternLayout
log4j.appender.ROLLINGFILE.layout.ConversionPattern=%d{ISO8601} [myid:%X{myid}] - %-5p [%t:%C{1}@%L] - %m%n

需重点关注的日志级别与内容：

级别	典型日志内容	说明
WARN	Connection from /192.168.1.100:12345 has been dropped	客户端异常断开
WARN	Too many connections	连接数超限
ERROR	Exception causing exit	致命错误，可能导致崩溃
INFO	Leader election	领导选举开始
INFO	FOLLOWING - LEADER ELECTION TOOK - 1234 MS	选举耗时，应小于 200ms
INFO	Processed session termination	会话结束

🔍 建议：使用 ELK（Elasticsearch + Logstash + Kibana）或 Loki + Grafana 集中收集和告警。

---

四、关键监控指标（Production Ready）

以下是生产环境中必须监控的核心指标：

指标	说明	告警阈值建议
请求延迟	zk_avg_latency, zk_max_latency	avg > 50ms，max > 200ms 告警
写延迟	特别关注事务写入延迟	持续高于 100ms 需排查
ZNode 数量	zk_znode_count	单机建议 < 500万（受内存限制）
Watch 数量	zk_watch_count	过多可能导致通知风暴
连接数	zk_num_alive_connections	接近 maxClientCnxns（默认 60）时告警
Follower 同步延迟	zk_fsync_threshold_exceeded 或日志中 sync 耗时	sync > 1s 表示磁盘慢或网络差
Leader 选举次数	每次选举日志中记录	非计划选举 > 0 次即告警
Leader 选举时间	LEADER ELECTION TOOK - X MS	> 200ms 表示集群不稳定
堆内存使用	JVM Heap（通过 JMX）	> 80% 告警，避免 Full GC
GC 时间	Young GC / Full GC 频率与时长	Full GC > 1s 或频繁发生
文件描述符使用率	zk_open_file_descriptor_count / zk_max_file_descriptor_count	> 80% 告警
磁盘 IO	事务日志（dataLogDir）写入延迟	使用 iostat 监控，避免慢盘

---

五、集成 Prometheus + Grafana（推荐方案）

1. 使用 JMX Exporter 采集指标

下载 JMX Exporter，配置 zookeeper.yaml：

lowercaseOutputName: true
rules:
  - pattern: "org.apache.ZooKeeperService<name0=ReplicatedServer_id(\\d+)><>(\\w+)"
    name: "zookeeper_$2"
  - pattern: "org.apache.ZooKeeperService<name0=ReplicatedServer_id(\\d+), name1=(Leader|Follower)><>(\\w+)"
    name: "zookeeper_$2_$3"

启动 ZooKeeper 时添加 JVM 参数：

-javaagent:/path/to/jmx_prometheus_javaagent-0.17.0.jar=7070:/path/to/zookeeper.yaml

2. Prometheus 配置

scrape_configs:
  - job_name: 'zookeeper'
    static_configs:
      - targets: ['zookeeper-host:7070']

3. Grafana 仪表盘

导入官方推荐 Dashboard：

• Dashboard ID: 10467 - ZooKeeper JMX Exporter
• 包含：延迟、连接数、ZNode 数、角色状态、GC、选举次数等

---

六、最佳实践总结

项目	建议
四字命令	用于快速检查，mntr 用于监控采集
JMX	生产环境必须开启，配合 JMX Exporter
日志	集中收集，设置 WARN/ERROR 告警
监控系统	Prometheus + Grafana + Alertmanager
告警规则	设置选举、延迟、连接数、ZNode 数告警
部署架构	ZooKeeper 集群奇数节点（3/5/7），避免脑裂
磁盘	事务日志 dataLogDir 必须独立高性能磁盘（SSD）
JVM	堆内存建议 4G~8G，避免过大导致 GC 停顿

---

✅ 总结：ZooKeeper 监控体系架构图

+------------------+     +-------------------+
|  四字命令 (telnet) | --> | 快速健康检查       |
+------------------+     +-------------------+
                             ↓
+------------------+     +-------------------+
|     JMX Exporter   | --> | Prometheus 采集   |
+------------------+     +-------------------+
                             ↓
                       +-------------------+
                       |   Grafana 仪表盘    | ← 告警 + 可视化
                       +-------------------+
                             ↑
+------------------+     +-------------------+
|  日志 (log4j)      | --> | ELK / Loki        | ← 错误分析
+------------------+     +-------------------+

---

📌 最终建议：

ZooKeeper 是“分布式系统的基石”，其稳定性决定上层服务的可用性。务必建立全面监控 + 告警 + 定期巡检机制，避免因小问题引发雪崩。