Pulsar[2]-多台Linux服务器搭建集群

0 缘起

1）记录搭建完整测试环境集群全过程
2）为在测试环境对 Pulsar 进行功能测试做准备

---

1 准备资源

1）3台 Linux 裸机服务器，配置4G，2核
2）JDK8 运行环境
3）Pulsar 安装包
你在 Pulsar 官网下载最新版本的 Pulsar 安装包
（这里是以2.2.0版本为例）

http://pulsar.apache.org/zh-CN/download/

---

2 说明

1）Pulsar 集群搭建的最小组成需要3个组件集群，ZooKeeper 集群；Broker 集群（Broker 就是 Pulsar 的自身实例)；BookKeeper 集群。

2）Pulsar 的安装包（apache-pulsar-2.2.0-bin-tar.gz） 已包含了搭建集群所需的各个组件库。无需单独下载 ZooKeeper 安装包和 BookKeeper 安装包。

3）3台 Linux 服务器IP，分别为 10.0.100.60 和 10.0.100.70 ，10.0.100.80。

4）如果是在内网测试环境搭建集群，为了避免防火墙带来的端口开启繁琐，建议把服务器防火墙关闭。

---

3 搭建集群的组成

1）zk 集群（3个 ZooKeeper 节点组成）
2）bookie 集群（3个 BookKeeper 节点组成）
3）broker 集群（3个 Pulsar 节点组成）

---

4 JDK 安装

1）Linux 裸机服务器，自行安装JDK（要求JDK8及以上版本）。

2）JDK8 安装过程（已安装请忽略）

（1）JDK8 下载地址（我用的安装包 jdk-8u201-linux-x64.tar.gz）

https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

（2）把安装包上传至 Linux 服务器文件目录（我的 Linux 目录如下，上传至此)

/home/admin/jdk-8u201-linux-x64.tar.gz

（3）新建文件夹目录 java，并把 JDK 安装包（jdk-8u201-linux-x64.tar.gz）解压到此目录。

cd /usr

sudo -u root mkdir java

cp /home/admin/jdk-8u201-linux-x64.tar.gz    /usr/java/

cd java/

tar -zxvf jdk-8u201-linux-x64.tar.gz

（4）编辑配置文件，配置环境变量

# 编辑配置文件
vim /etc/profile

# 配置文件中添加以下配置信息
JAVA_HOME=/usr/java/jdk1.8.0_201
CLASSPATH=$JAVA_HOME/lib/
PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH

（5）使配置文件生效

source /etc/profile

（6）检查JDK 安装是否成功，若显示 JDK 版本即安装成功

java -version

（7）另外两台服务器按照以上步骤进行相同操作。

---

5 集群环境部署准备（准备 ZooKeeper，Broker，Bookie 安装包)

（1）创建三个文件夹：zookeepers；brokers；bookies

# 工作目录下创建三个文件夹 zookeepers；brokers；bookies
cd /home/admin

mkdir zookeepers
mkdir brokers
mkdir bookies

（2）下载 Pulsar 安装包后，上传至 Linux 服务器，解压安装包（这里以2.2.0 版本为例）

# 解压安装包
tar -zxvf apache-pulsar-2.2.0-bin.tar.gz

（3）把解压后的文件分别复制到3个文件夹

# 把解压后的文件分别复制到3个文件夹
cp -ir  /home/admin/apache-pulsar-2.2.0/*    /home/admin/zookeepers/
cp -ir  /home/admin/apache-pulsar-2.2.0/*     /home/admin/brokers/
cp -ir  /home/admin/apache-pulsar-2.2.0/*     /home/admin/bookies/

（4）另外两台服务器按照以上步骤进行相同操作。

---

6 ZooKeeper 配置部署

（1）新建文件目录，并写入配置

# 新建文件目录
mkdir -p data/zookeeper

# 新建文件myid，写入值1
echo 1 > data/zookeeper/myid

注：另外两台服务器，操作如下，myid 文件内容分别写入2 ；3

# 服务器2
mkdir -p data/zookeeper
echo 2 > data/zookeeper/myid

# 服务器3
mkdir -p data/zookeeper
echo 3 > data/zookeeper/myid

（2）对 zookeeper.conf 文件进行配置

# 指定 dataDir 目录