【快速上手】Flink的安装部署（Standalone集群模式）

目录

一、上传Flink安装包，解压，配置环境变量

二、修改配置文件

三、上传jar包

四、分发

五、启动

六、观察webUI 

七、提交官方示例测试

---

 

      Flink支持多种安装模式。

1. local（本地）——本地模式

2. standalone——独立模式，Flink自带集群，开发测试环境使用

3. standaloneHA—独立集群高可用模式，Flink自带集群，开发测试环境使用

4. yarn——计算资源统一由Hadoop YARN管理，生产环境测试

本文介绍一下standalone集群模式的安装部署！

一、上传Flink安装包，解压，配置环境变量

先将安装包上传到服务器 （flink-1.13.6-bin-scala_2.11.tgz  这里用的是1.13版本）

官网地址：Downloads | Apache Flink

1.13版本下载链接：https://archive.apache.org/dist/flink/flink-1.13.1/flink-1.13.1-bin-scala_2.11.tgz

# 1、解压
tar -zxvf flink-1.13.6-bin-scala_2.11.tgz -C /opt/installs/

# 2、重命名
mv flink-1.13.6/ flink

# 3、修改环境变量
vim /etc/profile

# 4、刷新
source /etc/profile

在环境变量中添加：

export FLINK_HOME=/opt/installs/flink
export PATH=$PATH:$FLINK_HOME/bin
export HADOOP_CONF_DIR=/opt/installs/hadoop/etc/hadoop 

二、修改配置文件

① 修改/opt/installs/flink/conf/flink-conf.yaml文件

#修改33行：

jobmanager.rpc.address: bigdata01

#修改60行：
taskmanager.numberOfTaskSlots: 2

#修改161行：
web.submit.enable: true

#历史服务器  如果HDFS是高可用，则复制core-site.xml、hdfs-site.xml到flink的conf目录下 

#在文件末尾添加（根据自己的情况改写，我的是bigdata01）：

hadoop11:8020 -> hdfs-cluster
jobmanager.archive.fs.dir: hdfs://bigdata01:9820/flink/completed-jobs/
historyserver.web.address: bigdata01
historyserver.web.port: 8082
historyserver.archive.fs.dir: hdfs://bigdata01:9820/flink/completed-jobs/

② 修改/opt/installs/flink/conf/masters文件

 

③修改 /opt/installs/flink/conf/workers文件

 

三、上传jar包

将flink-shaded-hadoop-2-uber-2.7.5-10.0.jar放到flink的lib目录下

四、分发

分发到集群中其他的服务器上 （使用脚本分发）：

xsync.sh /opt/installs/flink
xsync.sh /etc/profile

五、启动

#启动HDFS  
start-dfs.sh
#启动集群
start-cluster.sh
#启动历史服务器
historyserver.sh start

六、观察webUI 

http://bigdata01:8081   -- Flink集群管理界面    当前有效，重启后里面跑的内容就消失了
http://bigdata01:8082   -- Flink历史服务器管理界面，及时服务重启，运行过的服务都还在 

 

 

两者的区别：首先可以先把服务都停止

然后再重启，发现8081上已经完成的任务中是空的，而8082上的历史任务都还在，原因是8082读取了hdfs上的一些数据，而8081没有。

但是从web提供的功能来看，8081提供的功能还是比8082要丰富的多。

七、提交官方示例测试

1、使用官方提供的文件测试，输出在控制台：

flink run  /opt/installs/flink/examples/batch/WordCount.jar

 

2、指定单词统计的文件路径和输出路径：

flink run  /opt/installs/flink/examples/batch/WordCount.jar --input 输入数据路径 --output 输出数据路径