Flink实战——集群搭建

啥都仅会亿点点的猿

已于 2024-11-18 13:59:03 修改

阅读量3.4k

点赞数 13

分类专栏：大数据 Flink 文章标签： flink 大数据

于 2024-04-09 17:00:25 首次发布

本文链接：https://blog.youkuaiyun.com/m0_46332441/article/details/137519959

版权

大数据同时被 2 个专栏收录

3 篇文章

订阅专栏

Flink

3 篇文章

订阅专栏

本文介绍在Linux系统搭建Flink 1.17版本集群的步骤。需先完成Hadoop集群部署，接着进行集群规划，然后依次解压安装包、配置集群文件、分发配置文件、修改TaskManager节点地址，最后进行测试。还提及集群启动报错问题及解决办法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

3.2.1 flink-conf.yaml文件配置

3.2.2 workers文件配置

3.2.3 masters文件配置

3.3 分发配置文件

3.4 修改TaskManager节点地址

一、引言

1.1 本文目标

本文主要在Linux系统上对大数据处理引擎Flink的相关安装步骤进行介绍。

1.2 预备工作和软件版本说明

在具体搭建本文的Flink集群之前，首先需要读者在Linux系统上安装和部署过Hadoop集群（3台节点服务器），本文默认读者已经安装和部署过Hadoop集群，故对Hadoop集群的相关安装部署不做相应介绍。

同时，为避免相应版本之间的冲突，本文将所使用的相关软件版本汇总至如下表1所示情况。

表1 相关软件版本说明
软件名称	软件版本号
jdk	1.8
hadoop	3.1.3
flink	1.17

二、集群规划

本文为三台节点服务器分配如下表2所示的集群角色，后文将针对表2所示情况，在Linux系统上搭建Flink1.17版本的集群。

表2 节点服务器的角色分配
节点服务器名称	hadoop00	hadoop01	hadoop02
角色规划	JobManager TaskManager	TaskManager	TaskManager

三、搭建步骤

3.1 解压安装包

（1）从官网或其他相关途径下载flink-1.17.0-bin-scala_2.12.tgz版本，其中官网下载途径可见地址https://flink.apache.org/zh/downloads/。

（2）将相应的安装包上传至Linux指定目录上，其中，目录位置可以自定义，本文上传的目录位置为/opt/software，且上传的节点服务器为hadoop00。上传成功后会在相应目录中出现如下图1所示内容。

图1 安装包上传成功图

（3）上传完成后，将相应文件进行解压。Linux解压命令见下方所示：

[root@hadoop00 software]$ tar -zxvf flink-1.17.0-bin-scala_2.12.tgz -C /opt/module/

其中，黄色块标注内容为解压到的目标位置，用户可依个人情况进行自定义设置。同时，为了后续方便本文将解压后的文件进行更名（非必要操作），相关命令见下方所示：

[root@hadoop00 modlule]$ mv flink-1.17.0 flink1.17

3.2 集群文件配置

解压完成后需要对/opt/module/flink1.17/conf/（用户解压目录位置）下的flink-conf.yaml、workers和masters文件依次进行配置，需要配置的相关文件见图2红色框住部分所示：

3.2.1 flink-conf.yaml文件配置

[root@hadoop00 conf]$ vim flink-conf.yam

采用上述Linux命令进入flink-conf.yam文件中，针对表2 所示的节点服务器的分配方式，依次找到图3至图5所示内容位置，并依次将内容设定为红色框住部分的内容，其中各设定的含义见图3至图5所示。

修改完成后，保存退出文件即可。

3.2.2 workers文件配置

[root@hadoop00 conf]$ vim workers

采用上述Linux命令进入workers文件中，将原始的workers文件内容（图6）修改为图7所示内容，其中，图7所示的节点服务器名称由用户实际情况进行设定。

修改完成后，保存退出文件即可。

3.2.3 masters文件配置

[root@hadoop00 conf]$ vim masters

采用上述Linux命令进入masters文件中，由表2所示的节点服务器的分配方式，将原始的masters文件内容（图8）修改为图9所示内容。

修改完成后，保存退出文件即可。

3.3 分发配置文件

flink-conf.yaml、workers和masters文件配置完成后，用户依据个人情况，采用两种不同的方式分发配置文件。

1. 若用户已经编写过分发脚本命令。则利用分发脚本命令将Flink 安装目录即/opt/module/flink1.17分发给其余另外两台节点服务器hadoop01和hadoop02上。

2. 若用户未编写过分发脚本命令，则在其余两台节点服务器（hadoop01和hadoop02）上依次重复执行4.1至4.2.3步骤即可。

3.4 修改TaskManager节点地址

4.3步骤完成后，需要进一步对另外两台节点服务器（hadoop01和hadoop02）的flink-conf.yaml文件进行修改。

首先，进入hadoop01节点服务器上，进入图10的flink-conf.yaml文件，找到图11红色框住部分所在位置，将TaskManager 节点地址配置为当前机器名，如图11所示内容。

修改完成后，保存退出文件即可。同理，对hadoop02节点服务器，将flink-conf.yaml文件中的taskmanager.host修改为taskmanager.host: hadoop02即可（注意：冒号后面有一个空格）。

至此相关的集群文件配置完成。

3.5 测试

在节点服务器hadoop00上，进入到flink1.17目录位置即/opt/module/flink1.17，采用下述Linux命令启动Flink集群。

[root@hadoop00 flink1.17]$ bin/start-cluster.sh

3.5.1 集群启动成功

若已经编写过进程查看脚本，则可以采用该脚本查看启动Flink集群前后的进程情况。下图12展示了未启动Flink集群时的进程情况，图13展示了启动Flink集群后的进程情况。若读者两次进程如本文图13和图14所示，则说明集群启动成功了。

3.5.2 Web UI页面启动成功

打开浏览器，在浏览器上输入下图15所示的地址，若呈现与图14相同情况，则说明Web UI页面启动成功，Flink集群搭建成功；否则检查相关的搭建步骤是否有误。

四、集群启动报错问题

正常Flink集群需要在/opt/module/flink1.17目录位置处，采用4.5所示的Linux命令进行启动，但若当前位置不在/opt/module/flink1.17处，采用上述命令会报错，见图15的错误异常情况。此时回退到flink1.17目录位置，重新启动Flink集群即可成功开启集群。