Flink学习(八)-Flink 集群搭建

本文详细指导如何在三台机器上安装JDK,配置Flink1.19.0集群,包括资源规划、主机文件设置、配置文件编辑、启动集群和访问webUI。遇到外部访问问题时,可能需要检查和开放防火墙设置。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1,准备三台机器

装好 jdk 等必要的组件。

注意,由于本身没有额外的 dns做转发。因此,需要在每台机器的 host 文件里,配置好相关 ip

具体方法

vim /etc/hosts

 

2,flink做配置

2.1 资源规划

节点服务器

node01

node02

node03

角色

JobManager

TaskManager

TaskManager

TaskManager

2.2 下载 flink-1.19.0-bin-scala_2.12.tgz的包,并上传解压

下载地址

解压命令

tar xzvf flink-1.19.0-bin-scala_2.12.tgz

 

2.3 编辑相关配置信息

分别在 node01 、 node02以及 node03

cd flink-1.19.0/conf
vim config.yaml

# JobManager节点地址.

jobmanager.rpc.address: node01

jobmanager.bind-host: 0.0.0.0

rest.address: node01

rest.bind-address: 0.0.0.0

# TaskManager节点地址.需要配置为当前机器名

taskmanager.bind-host: 0.0.0.0

taskmanager.host: node01

vim workers

node01

node02

node03 

vim masters

 node01:8081

注意,在 node02 和 node03节点上,只需要编辑对应的 config.yaml 文件中的taskmanager.host属性,node02改为 node02,node03 改为 node03.

2.4依次启动三台 flink

bin/start-cluster.sh

3,访问 webUI 

访问 jobManager 所在的 8081 端口,即可打开相关管理页面

http://node01:8081/#/overview

4,问题

如果外部机器无法访问上述地址。可能是防火墙的原因

放通 8081 的防火墙就行。

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值