大数据平台组件部署说明（pulsar、Openlookeng、Hadoop集群、hive、python、Flink、JDK、Zookeeper、MySQL、Redis等）

大数据平台组件部署说明

1.安装前准备

• JDK

openlookeng和pulsar要求JDK1.8+，参考附录9.1安装教程。

• Zookeeper集群

pulsar运行需要zookeeper集群进行资源调度服务，参考附录9.2安装教程。

• MySQL

默认推荐使用MySQL，参考附录9.3节MySQL的安装说明，如已经安装请跳过。如果你使用其他类型的数据库，请参考对应厂商说明帮助手册进行安装。

• SSH免密登录

Hadoop集群要求Master节点可以免密登录到其他节点，参考附录9.4安装教程

2. 安装说明

本手册以在linux x86_64环境下为例进行安装过程说明。 创建大数据平台组件安装根目录，指定$PATH为实际路径，组件建议安装在${PATH}路径中。本文档使用三台服务器做安装说明，三台服务器分别命名为Master，Slave1和Slave2

vim /etc/hosts

172.24.4.142 Master
172.24.4.143 Slave1
172.24.4.144 Slave2

mkdir -p /${PATH}/

3. 安装Pulsar

Pulsar的版本会不断更新，当前以Pulsar-2.9.1为例进行安装说明。Pulsar中的使用的组件包括Zookeeper集群(内置或独立)，Bookie集群以及Broker集群，不同服务器的安装目录需要保持一致，建议统一安装在/${PATH}/目录下。

各个节点统一解压Pulsar至/${PATH}/目录下：

tar zxvf apache-pulsar-2.9.1.tar.gz -C /${PATH}/

3.1 Bookie

创建Bookie需要的目录，已经创建为:

/${PATH}/apache-pulsar-2.9.1/data/bookkeeper/ledger

/${PATH}/apache-pulsar-2.9.1/data/bookkeeper/journal

进入/${PATH}/apache-pulsar-2.9.1/conf路径中，对bookkeeper.conf文件进行修改

vim /${PATH}/apache-pulsar-2.9.1/conf/bookkeeper.conf

修改的配置如下:

#bookie连接端口
bookiePort=3181      
journalDirectory=/${PATH}/apache-pulsar-2.9.1/data/bookkeeper/journal
ledgerDirectories=/${PATH}/apache-pulsar-2.9.1/data/bookkeeper/ledger
#本机ip
advertisedAddress=localhost
#集群zookeeper端口   
zkServers=Master:2181,Slave1:2181,Slave2:2181

在Bookie集群所有节点配置完成之后，进入/${PATH}/apache-pulsar-2.9.1/bin/目录对Bookie集群进行初始化(只需要在一个Bookie节点执行即可)：

bookkeeper shell metaformat

3.2 Broker

对Broker集群进行配置，进入/${PATH}/apache-pulsar-2.9.1/conf/目录中，对broker.conf文件进行修改。

zookeeperServers=Master:2181,Slave1:2181,Slave2:2181
configurationStoreServers=Master:2181,Slave1:2181,Slave2:2181
brokerServicePort=6650
webServicePort=8089
advertisedAddress=localhost
#topic缓存数据大小单位(MB),依据需求进行修改
defaultRetentionSizeInMB=1024
#topic缓存数据时间单位(分钟),依据需求进行修改           
defaultRetentionTimeInMinutes=4320
#function worker随pulsar一起启动
functionsWorkerEnabled=true      

在配置Broker以及Bookie集群后，需要对Zookeeper集群进行初始化,需要进入/${PATH}/apache-pulsar-2.9.1/bin/目录，执行：

#--cluster 集群名称
#--zookeeper 与Zookeeper连接信息
#--configuration-store 整个集群实例的配置存储连接字符串
#--web-service-url --web-service-url-tls 集群 web 服务的 URL 
#--broker-service-url --broker-service-url-tls Broker 服务的 URL，用于启动集群中 broker 之间的交互

pulsar initialize-cluster-metadata
--cluster pulsar-cluster
--zookeeper Master:2181 
--configuration-store Master:2181 
--web-service-url http://Master:8089,Slave1:8089,Slave2:8089 
--web-service-url-tls https://Master:8443,Slave1:8443,Slave2:8443 
--broker-service-url pulsar://http://Master:6650,Slave1:6650,Slave2:6650 
--broker-service-url-tls pulsar+ssl://http://Master:6651,Slave1:6651,Slave2:6651

3.3 Pulsar启动与停止

Pulsar启动需要保证Zookeeper集群是运行的状态。 Pulsar启动与停止主要分为Broker以及Bookie集群的启动与停止。

3.3.1 Bookie启动与停止

Bookie启动需要进入/${PATH}/apache-pulsar-2.9.1/bin/目录，执行:

pulsar-daemon start bookie

然后执行:

bookkeeper shell bookiesanity

判断Bookie是否启动成功，如果出现sanity test succeeded则启动成功。

Bookie停止需要进入/${PATH}/apache-pulsar-2.9.1/bin/目录，执行:

pulsar-daemon stop bookie

3.3.2 Broker启动与停止

Broker启动需要进入/${PATH}/apache-pulsar-2.9.1/bin/目录，执行:

pulsar-daemon start broker

执行：

pulsar-admin brokers list pulsar-cluster

可查看Pulsar中Broker集群节点情况。

Broker停止需要进入/${PATH}/apache-pulsar-2.9.1/bin/目录，执行:

pulsar-daemon stop broker

4. 安装Openlookeng

Openlookeng的版本在不断进行更新，不同版本的安装流程相似，本文档以Openlookeng-1.4.0安装为例。

解压openlookeng的安装包到/${PATH}/目录下

tar hetu-server-1.4.0.tar.gz -C /${PATH}/

在/${PATH}/hetu-server-1.4.0/目录下创建data和etc目录

mkdir -p /${PATH}/hetu-server-1.4.0/data

mkdir -p /${PATH}/hetu-server-1.4.0/etc

在/${PATH}/hetu-server-1.4.0/etc/目录中创建配置文件并进行配置

vim /${PATH}/hetu-server-1.4.0/etc/node.properties

#配置openlookeng环境保存目录
node.environment=openlookeng
node.launcher-log-file=/${PATH}/hetu-server-1.4.0/log/launch.log
node.server-log-file=/${PATH}/hetu-server-1.4.0/log/server.log
catalog.config-dir=/${PATH}/hetu-server-1.4.0/etc/catalog
node.data-dir=/${PATH}/hetu-server-1.4.0/data
plugin.dir=/${PATH}/hetu-server-1.4.0/plugin

创建Openlookeng集群节点信息文件并且进行配置，Openlookeng节点分为主节点和work节点。

vim /${PATH}/hetu-server-1.4.0/etc/config.properties

#Openlookeng主节点配置
coordinator=true
node-scheduler.include-coordinator=true
#Openlookeng端口，依据实际情况进行配置
http-server.http.port=9060
#Openlookeng使用内存情况，依据实际使用需求进行配置
query.max-memory=3GB
query.max-total-memory=3GB
query.max-memory-per-node=1.5GB
query.max-total-memory-per-node=1.5GB
discovery.uri=http://Master:9060
discovery-server.enabled=true
#web ui
hetu.queryeditor-ui.allow-insecure-over-http=true

#Openlookeng work节点配置
coordinator=false
http-server.http.port=9060
query.max-memory=3GB
query.max-total-memory=3GB
query.max-memory-per-node=1.5GB
query.max-total-memory-per-node=1.5GB
discovery.uri=http://Master:9060                    

创建JVM的配置文件JVM.properties并且进行配置

vim /${PATH}/hetu-server-1.4.0/etc/JVM.properties

#Openlookeng JVM配置
-server
-Xmx4G
-XX:-UseBiasedLocking
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+ExplicitGCInvokesConcurrent
-XX:+ExitOnOutOfMemoryError
-XX:+UseGCOverheadLimit
-XX:+HeapDumpOnOutOfMemoryError
-XX:+ExitOnOutOfMemoryError

创建log的配置文件并且进行配置

vim /${PATH}/hetu-server-1.4.0/etc/log.properties

#Openlookeng log配置
#收集log级别
io.prestosql = INFO

Openlookeng启动和停止命令

#启动命令
/${PATH}/hetu-server-1.4.0/bin/launcher start

#停止命令
/${PATH}/hetu-server-1.4.0/bin/launcher stop

#查看Openlookeng状态命令
/${PATH}/hetu-server-1.4.0/bin/launcher status

启动web页面

5. Hadoop集群安装

安装Hadoop的目录要保持一致，建议统一安装在/ P A T H / 目录下。 H a d o o p 可能会不断更新，下面以 H a d o o p − 3.3.1 为例，具体请根据安装包修改配置。以三个节点搭建 H a d o o p 集群为例，一台机器作为 M a s t e r 节点，另两台机器分别为 S l a v e 1 和 S l a v e 2 节点， H a d o o p 要求 M a s t e r 节点可以 S S H 无密码登录到每一个 S l a v e 节点， H a d o o p 集群的安装配置