实时数仓、基于Flink1.11的SQL构建实时数仓 之搭建flink集群

实时数仓、基于Flink1.11的SQL构建实时数仓 之搭建flink集群

目录

实时数仓、基于Flink1.11的SQL构建实时数仓 之搭建flink集群

一. 环境准备

二. 安装配置

三. 启动集群

---

一. 环境准备

jdk1.8

hadoop环境

zookeeper环境

集群规划

192.168.137.123 s1
192.168.137.124 s2
192.168.137.125 s3

详见：实时数仓、基于Flink1.11的SQL构建实时数仓 环境说明

二. 安装配置

1.下载安装包

官网地址：https://flink.apache.org/zh/downloads.html

下载版本：flink-1.11.2-bin-scala_2.11.tgz

 

下载hdfs插件包 flink-shaded-hadoop-2-uber-2.8.3-9.0.jar

 

2.上传到服务s1 并配置

上传目录：/opt/hadoop

解压：tar -zxf flink-1.11.2-bin-scala_2.11.tgz

2.1 修改配置文件 flink-conf.yaml 

配置文件目录：/opt/hadoop/flink-1.11.2/conf

参考官网修改关键参数

[root@s1 conf]# cat flink-conf.yaml 

jobmana