Flink集群搭建

(1)JAVA_HOME 配置
conf/flink-conf.yaml env.java.home

(2)与Hadoop关联,如果确认使用Hadoop相关功能,需要关注对应的版本。如果不使用,则随意
使用flink版本
下载最新版本后,将存档复制到您的主节点并解压缩它:
tar xzf flink-.tgz
cd flink-

(3)配置Flink
编辑conf / flink-conf.yaml为集群配置Flink

1.设置 jobmanager.rpc.address 密钥以指向您的主节点

2.内存设置

jobmanager.memory.process.size 主节点flink最大内存 (MB)
taskmanager.memory.process.size 工作节点flink最大内存(MB)

3.提供集群中所有用作工作的节点(即运行TaskManager的节点)

编辑文件 conf / workers 并输入每个工作程序节点的IP /主机名。
示例:
三个节点(IP地址从10.0.0.1 到10.0.0.3且主机名master,worker1,worker2)
的设置,并显示了配置文件的内容
在这里插入图片描述
/path/to/flink/conf/flink-conf.yaml
jobmanager.rpc.address: 10.0.0.1
/path/to/flink/conf/workers
10.0.0.2
10.0.0.3

4.每台 slot 数量设置
每台计算机可用的CPU数(taskmanager.numberOfTaskSlots)

5.集群中的cpu数量总数

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值