pulsar部署测试环境

最新推荐文章于 2025-06-21 07:56:48 发布

Chguai.丑怪

最新推荐文章于 2025-06-21 07:56:48 发布

阅读量2.5k

点赞数

CC 4.0 BY-SA版权

文章标签： linux

本文链接：https://blog.youkuaiyun.com/Chguai/article/details/124290932

本文档详细介绍了如何在Zookeeper 3.8.0集群上部署Apache Pulsar 2.9.1。涉及步骤包括配置文件修改、集群初始化、组件启动以及错误排查，如JDK版本不匹配和Zookeeper版本不一致的问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

版本：zookeeper 3.8.0 / pulsar 2.9.1

A、Zookeeper (集群) >>> 使用之前的一套

B、Broker集群和bookeeper集群，修改完成配置文件即可生效,配置文件路径

10.118.93.189 /sga/pulsar/conf
10.118.93.190 /sga/pulsar/conf
10.118.93.191 /sga/pulsar/conf
安装pulsar 修改配置文件

tar	–zxvf	pulsare-v2.91.tar.gz 	-C /指定路径

修改配置 conf/bookkeeper.cof
1、56行advertiserAddress ，本机IP或主机名
在这里插入图片描述
2、39行 jorunalDirectory ，tmp临时数据路径

3、400行 ledgerDirectories ，tmp临时数据路径

4、628行 zk ，zk集群信息

修改配置 conf/broker.conf
1、101行 clusterName ，集群名称
在这里插入图片描述
2、23行，zk集群信息

3、26行，zk存储信息

4、47行，advertiserAddress ，本机IP或主机名

将配置好的目录发送至其他机器

scp	-r apach-pulsar/ 	ip:$PWD

修改每台机器的配置
conf/bookkeeper.cof 56行advertiserAddress ，本机IP或主机名
conf/broker.conf 47行，advertiserAddress ，本机IP或主机名

C、初始化各组件

1、 zk（不需要初始化使用的是之前的一套）
2、初始化pulsar
./pulsar initialize-cluster-metadata
–cluster 配置的集群名称
–zookeeper zk信息
–configuration-store zk信息
–web-service-url http://ip1:18080,ip2:18080,ip3:18080 web服务地址(和zk冲突)
–web-service-url-tls http://ip1:8443,ip2: 8443,ip3: 8443 web认证服务地址
–broker-service-url http://ip1:6650, ip2:6650, ip3:6650 broker服务地址
–broker-service-url-tls http://ip1:6651, ip2:6651, ip3:6651 broker 安全认证服务地址

参考命令

./pulsar initialize-cluster-metadata --cluster pulsar_chguai --zookeeper 10.118.93.189:2181,10.118.93.190:2181,10.118.93.191:2181 --configuration-store 10.118.93.189:2181,10.118.93.190:2181,10.118.93.191:2181 --web-service-url  http://10.118.93.189:18080,10.118.93.190:18080,10.118.93.191:18080 --web-service-url-tls http://10.118.93.189:8443,10.118.93.190:8443,10.118.93.191:8443 --broker-service-url http://10.118.93.189:6650,10.118.93.190:6650,10.118.93.191:6650 --broker-service-url-tls http://10.118.93.189:6651,10.118.93.190:6651,10.118.93.191:6651

3、初始化bookeeper

./bookkeeper shell metaformat

在这里插入图片描述

D、启动顺序

1、zk
2、bookkeeper
每台机器分别执行 ./pulsar-daemon start bookie
验证监测 ./bookkeeper shell bookiesanity
在这里插入图片描述
bookkeeper启动并验证完成

3、 broker

每台机器分别执行 ./pulsar-daemon start broker
在这里插入图片描述
broker验证检测
./pulsar-admin brokers list pulsar_chguai 配置的集群名称

E、分布式集群测试

启动消费者：./pulsar-client consume persistent://public/default/test_01 -s “consumer-test”
Persistent:永久性的 public:公共租户 default:默认名称看空间 test:topic
启动消费者监听一个top
启动生产者：./pulsar-client produce --messages 'csccscscsc' test_01
启动生产者往一个topic 推送一条数据

发送一条消息
在这里插入图片描述
接受到消息

pulsar安装部署完成

F：过程中遇到的报错：

报错1：Exception in thread “main” java.lang.UnsupportedClassVersionError: org/apache/pulsar/PulsarClusterMetadataSetup : Unsupported major.minor version 52.0
此异常问题系，jdk版本不一致，pulsar-2.9.1应该对应jdk1.8，但是服务器上是jds1.7版本，升级jdk版本即可解决此问题；

报错2：Exception in thread “main” org.apache.pulsar.metadata.api.MetadataStoreException: org.apache.zookeeper.KeeperExceptionUnimplementedException: KeeperErrorCode = Unimplemented for /
Caused by: org.apache.zookeeper.KeeperException$UnimplementedException: KeeperErrorCode = Unimplemented for /
该异常原因系zookeeper版本与pulsar 版本不一致导致，升级zookeeper版本至3.8.0即可解决此问题！