(1)JAVA_HOME 配置
conf/flink-conf.yaml env.java.home
(2)与Hadoop关联,如果确认使用Hadoop相关功能,需要关注对应的版本。如果不使用,则随意
使用flink版本
下载最新版本后,将存档复制到您的主节点并解压缩它:
tar xzf flink-.tgz
cd flink-
(3)配置Flink
编辑conf / flink-conf.yaml为集群配置Flink
1.设置 jobmanager.rpc.address 密钥以指向您的主节点
2.内存设置
jobmanager.memory.process.size 主节点flink最大内存 (MB)
taskmanager.memory.process.size 工作节点flink最大内存(MB)
3.提供集群中所有用作工作的节点(即运行TaskManager的节点)
编辑文件 conf / workers 并输入每个工作程序节点的IP /主机名。
示例:
三个节点(IP地址从10.0.0.1 到10.0.0.3且主机名master,worker1,worker2)
的设置,并显示了配置文件的内容
/path/to/flink/conf/flink-conf.yaml
jobmanager.rpc.address: 10.0.0.1
/path/to/flink/conf/workers
10.0.0.2
10.0.0.3
4.每台 slot 数量设置
每台计算机可用的CPU数(taskmanager.numberOfTaskSlots)
5.集群中的cpu数量总数