在Linux系统下Flink集群搭建

一.集群规划

操作系统:CentOS7

java运行环境:JDK8

在3台服务节点安装集群

二.flink 集群安装

1.进入Flink官网下载Flink版本

我的 Flink版本是1.13   

2.下载Scala,选择正确,合适的

Scala版本是2.12

3.上传安装包。

4.解压缩

tar -zxf flink-1.13.1-bin-scala_2.12.tgz -C ../目录/

 5.修改文件名为flink

mv flink-1.13.1/ flink

6.修改环境变量 

vi /etc/profile

#flink
export FLINK_HOME=/home/softwares/flink
export PATH=$PATH:$FLINK_HOME/bin

7.执行source命令使修改生效

source /etc/profile

8.配置Flink

Flink 的安装目录包含一个 conf文件夹。Flink 的主要配置文件是 flink-conf.yaml文件。切换到/home/softwares/flink/conf 文件夹后,编辑这个文件,修改

jobmanager.rpc.address为 flink1

jobmanager.memory.process.size为1024m

9.配置workers节点

10.将flink复制到flink2,flink3上

scp -r flink root@flink2:/home/softwares
scp -r flink root@flink3:/home/softwares

11.验证集群启动情况

打开集群命令:

start-cluster.sh

在浏览器输入网址:http://flink1:8081,网页正常打开,就说明集群启动成功,如图

要在三台 Linux 服务器搭建 Flink 集群,可以按照以下步骤进行: 1. 准备环境:需要三台 Linux 服务器,每台服务器最好配置相同的硬件和软件环境。安装 Java 运行环境,并确保三台服务器之间可以互相通信。 2. 下载和解压 Flink:从 Flink 官网下载最新的 Flink 版本,并解压到一个目录,例如 /opt/flink。 3. 配置 Flink:修改 Flink 的配置文件 flink-conf.yaml,根据实际情况配置参数,包括 JobManager 和 TaskManager 的内存大小、并行度、网络端口等。需要修改以下参数: ```yaml jobmanager.rpc.address: <JobManager 的 IP 地址> taskmanager.numberOfTaskSlots: <每个 TaskManager 的任务槽数量> ``` 4. 启动 JobManager:在其中一台服务器上启动 JobManager。进入 Flink 的 bin 目录,执行命令 `./start-cluster.sh`,启动 JobManager。 5. 启动 TaskManager:在另外两台服务器上分别启动 TaskManager。进入 Flink 的 bin 目录,执行命令 `./taskmanager.sh start`,启动 TaskManager。 6. 提交任务:使用 Flink 提供的命令行工具 flink run 提交任务,例如 `flink run -c com.example.MyJob /path/to/my-job.jar`。 7. 监控和管理:可以使用 Flink 的 Web 接口或者命令行工具 flink list、flink cancel 等进行任务的监控和管理。 以上是一个简单的 Flink 集群搭建的步骤。在实际部署中需要考虑更多的因素,例如高可用性、容错性、安全性等。建议参考 Flink 官方文档进行更详细的配置和部署。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值