Flink Configuration 配置文件的配置-优快云博客

本文链接：https://blog.youkuaiyun.com/hell_oword/article/details/124524377

Flink Configuration | flink-conf.yaml中的配置

引流：FLINK 的命令 FLINK 的配置 Flink执行说明

本篇博客只对flink-conf.yaml中的配置进行介绍
持续更新…

参考文章：

Flink Configuration - flink-conf.yaml 中的配置

Flink 配置文件 flink-conf.yaml 中的配置基本都是通过键值对的方式进行配置

当 Flink 进程启动时，配置会被解析和配置，因此配置文件是全局配置，更改配置文件需要重新启动 Flink 相关的进程

Flink 使用的 JAVA_HOME 为当前环境默认的 JAVA 环境，如果要使用自定义的 JAVA ，需要在该配置文件中通过 env.java.home 进行配置

Flink 解压后有一个 conf 文件夹，我们一般在该文件夹中 flink-conf.yaml 配置文件进行配置。对于非会话部署模式，我们也可以复制该文件夹到其他的地方，并通过环境变量 FLINK_CONF_DIR 指定配置文件夹的位置，从而实现不同的作业使用不同的配置

Basic Setup ｜常用配置

默认配置支持在不做任何更改的情况下启动单节点 Flink 会话集群

这里主要是常用的配置

Hostnames / Ports

这个配置用于 standalone 或 Session 模式，如果使用 YARN, hostnames 和 ports 会自动配置和发现

# 该配置用于客户端 client 连接 Flink, 将此设置为 JobManager 运行的主机名和端口(该配置决定WEB的地址和端口)

# 默认为 '0.0.0.0'
rest.address
# 默认为 '8081'
rest.port

# 该配置用于 TaskManager 连接 JobManager, 一般将此设置为 JobManager 运行的主机名(该配置决定TaskManager连接JobManager时的地址和端口)

# 默认为 'localhost'
jobmanager.rpc.address
# 默认为 '6123'
jobmanager.rpc.port

在这里插入图片描述

# 我们在 FLINK bin 目录中开启一个会话模式，测试一下默认不开启时的情况
# 该命令在 node02 执行
bin/yarn-session.sh

启动后提示WEB 的地址为图中所示，我们访问下该地址
在这里插入图片描述

由此说明，该配置如果没有开启，那么 hostname 和 port 随机指定

# 配置后重新开启会话
rest.address : 127.0.0.1
rest.port : 8081

在这里插入图片描述

Memory Sizes（内存大小）

默认内存大小支持简单的流/批处理应用程序，但太低可能无法为更复杂的应用程序产生良好的性能

# JobManager(JobMaster / ResourceManager / Dispatcher) 进程的总内存大小
jobmanager.memory.process.size: 1600m

# taskmanager 进程的总内存大小
taskmanager.memory.process.size: 1728m

该内存大小为 JAVA 进程的内存