flink standalone高可用HA 模式安装

最新推荐文章于 2024-06-28 11:06:28 发布

大锅小米

最新推荐文章于 2024-06-28 11:06:28 发布

阅读量660

点赞数

分类专栏： flink

本文链接：https://blog.youkuaiyun.com/weixin_36146358/article/details/105915385

版权

flink ha集群搭建

软件下载地址：http://archive.apache.org/dist/flink/flink-1.7.2/

环境准备

服务器: cdh01(Master + Slave)
服务器: cdh02(Master + Slave)
服务器: cdh03(Slave)

解压文件到安装目录

tar -xvzf flink-1.7.2-bin-hadoop27-scala_2.11.tgz -C /export/servers/

vim conf/flink-conf.yaml

# jobManager 的IP地址
jobmanager.rpc.address: cdh01
# JobManager 的端口号
jobmanager.rpc.port: 6123
# JobManager JVM heap 内存大小
jobmanager.heap.size: 1024
# TaskManager JVM heap 内存大小
taskmanager.heap.size: 1024
# 每个 TaskManager 提供的任务 slots 数量大小
taskmanager.numberOfTaskSlots: 2
#是否进行预分配内存，默认不进行预分配，这样在我们不使用flink集群时候不会占用集群资源
taskmanager.memory.preallocate: false
# 程序默认并行计算的个数
parallelism.default: 1
#JobManager的Web界面的端口（默认：8081）
jobmanager.web.port: 8081
#配置每个taskmanager生成的临时文件目录（选配）
taskma