Flink应用篇——配置文件详解

 

• 部署和端口

jobmanager.rpc.address: localhost  # JM的host，只在standalone中有效，其他例如Yarn、K8S等或者HA模式都是无效的，都被其他服务自动选举
jobmanager.rpc.port: 6123 # JM的port，生效时机同上
metrics.internal.query-service.port: 0  # 用于及指标查询服务的端口，默认会随机找一个端口，也可以通过50100,50101,50200-50300等方式指定范围内挑选
rest.address: 
rest.port
rest.bind-address: # web服务绑定的address
rest.bind-port: # web服务端绑定的port
taskmanager.data.port: # TM用于外部数据交换的端口
taskmanager.host: # TM对外暴露的端口
taskmanager.rpc.port: # TM用于rpc的端口

• 容错

可配置参数说明：
①可以配置多种不同的job restart策略
②每种重启策略有不同的参数
③可以配置checkpoint相关参数(策略、存储位置等)

restart-strategy: none  # 默认的重启策略(当job失败时如何恢复),当checkpoint配置时才能生效,不配checkpoint默认为none,配了则默认为fixed-delay
restart-strategy.fixed-delay-attempts: 1  # 当重启策略为fixed-delay时的重启次数
restart-strategy.fixed-delay.delay: 1s  # 当重启策略为fixed-delay时的重启延时时长
restart-strategy.failure-rate.delay: 1s # 当重启策略为failure rate时的延时时长
restart-strategy.failure-rate.max-failures-per-interval: 

• 高可用性

可配置参数说明：
①高可用模式
②高可用下JM metadata存储路径

high-availability  # 高可用模式,例如ZOOKEEPER,也可以选择指定为某个高可用的class类
high-availability.storageDir: hdfs:///flink/ha # 高可用模式下持久化JM的metadata的文件系统路径
high-availability.zookeeper.path.root: /flink # zookeeper的root node路径
high-availability.zookeeper.quorum: none # zookeeper的HA模式下的zk地址

• 内存设置
• 安全