Flink 搭建 - Flink On Yarn 集群模式

原创

已于 2022-05-02 17:02:09 修改 · 1w 阅读

43 ·

CC 4.0 BY-SA版权

文章标签：

#flink #hadoop #scala

于 2021-09-05 16:56:01 首次发布

本文介绍了如何在Hadoop YARN环境中部署Flink 1.13.6，包括关闭YARN内存检查的配置，以及Flink在YARN上的Application、Per-Job和Session三种模式的详细说明和区别。推荐在生产环境中使用Per-job或Application模式以实现资源隔离。启动和管理Flink作业的命令行操作也在文中逐一展示。

Flink 搭建 - Flink On Yarn 集群模式

Apache Flink 1.14 Documentation

2022-04-29 更新，在 Hadoop-2.7.5 版本的 Yarn 环境部署 FLINK-1.13.6

什么是 FLINK ON YARN

FLINK 应用的发布及执行方式非常丰富，本篇博客主要讲述 FLINK ON YARN 这种方式

Apache Hadoop YARN 是 Hadoop 的资源管理器，Flink 实现了 YARN 的任务提交及执行接口，所以我们可以把 FLINK 任务发布在 YARN 上，由 YARN 来完成 FLINK 任务在 YARN 上执行期间的资源调度和管理

Flink 可以根据 JobManager 上运行的作业所需的处理槽数动态分配和取消分配 TaskManager 资源

安装部署

① HADOOP 的版本为 2.4.1+

② 下载 FLINK- 1.13.1

③ 配置 HADOOP_CLASSPATH 环境变量

vim /etc/profile
# 增加该内容
export HADOOP_CLASSPATH=`hadoop classpath`
# 刷新环境变量
source /etc/profile

④ 上传解压

cd /opt/server
tar -zxvf flink-1.13.1-bin-scala_2.11.tgz
ln -s /opt/server/flink-1.10.0 /opt/server/flink

⑤ 修改 /yarn-site.xml （3 台都操作）

vim /opt/server/hadoop/etc/hadoop/yarn-site.xml
# 修改以下内容

<!-- 关闭yarn内存检查 -->
<!-- 是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认为 true -->
<!-- 因为对于 flink 使用 yarn 模式下，很容易内存超标，这个时候 yarn 会自动杀掉 job，因此需要关掉-->
<property>
   <name>yarn.nodemanager.pmem-check-enabled</name>
   <value>false</value>