Flink学习笔记：搭建Flink on Yarn环境并运行Flink应用

已于 2024-10-31 18:56:14 修改
阅读量1.5k 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 探索大数据-从Hadoop到Flink 文章标签： Flink
于 2022-04-20 19:46:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/howard2005/article/details/124298999
本文详细介绍了如何搭建Flink on Yarn环境，包括从下载Flink到配置Flink on Yarn集群，再到启动Hadoop集群。接着，通过Flink Dashboard在Standalone模式下运行应用，并通过命令行提交Flink作业。最后，探讨了Flink on Yarn集群模式的优点，并展示了Session Cluster和Job Cluster模式下提交作业的步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

一、官网下载Flink

二、安装配置Flink

（一）上传Flink安装到master节点

  • 上传Flink安装到master节点/opt目录
    在这里插入图片描述

（二）解压Flink安装包到指定目录

  • 执行命令：tar -zxvf flink-1.10.2-bin-scala_2.11.tgz -C /usr/loc
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Apache Flink连载（二十一）：Flink On Yarn运行原理-Yarn Application模式
qq_32020645的博客
12-30 1166
🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-优快云博客🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频。
Apache Flink连载（十八）：Flink On Yarn运行原理及环境准备
qq_32020645的博客
12-27 1767
🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-优快云博客🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频。
Flink On Yarn
weixin_45520075的博客
07-23 825
Yarn模式 Yarn是一个分布式集群资源管理框架，在Yarn集群上可以部署运行各种分布式式应用程序。例如：Mapreduce，Spark。Yarn框架为这些分布式应用程序运行提供了可靠的支持。 因为在生产开发环境中很少使用Standalone模式，Flink On Yarn模式用的稍微多一点，今天我们就来讲讲Flink On Yarn 第一种方式 在Yarn集群中初始化一个Flink集群，该Flink集群占用着指定的资源，以后提交 ...
kerberos环境下Flink on Yarn集群部署 基于flink1.15.3 hadoop 3.0CDH6.3.2
h952520296的博客
12-09 2388
Flink on Yarn的HA高可用模式，首先依赖于Yarn自身的高可用机制（ResourceManager高可用），并通过Yarn对JobManager进行管理，当JobManager失效时，Yarn将重新启动JobManager。
计算机安全基础：认证技术知识笔记
IT技术分享社区
10-02 761
1、认证技术介绍认证技术主要是用来解决网络通信过程中通信双方身份的认可。认证的过程涉及加密和密钥交换。认证方一般都会有账户名、口令、使用摘要算法和基于PK...
10.flink-1.11.1 安装部署
shenjianyu_rex的博客
09-04 1126
1 Standalone模式 1.0 集群规划 node06 node07 node08 node10 TaskManager TaskManager TaskManager JobManager 1.1 安装 0）解压缩 flink-1.11.1-bin-scala_2.11.tgz，进入conf目录中。 [root@node09 flink]# tar -zvxf flink-1.11.1-bin-scala_2.11.tgz /opt/module/ 1）修改 .
flink on yarn
hyy_blog
05-04 323
flink部署在yarn上 1.flink-session【直接提交，就可以运行，资源固定，用完即释放，适合小规模任务，如果大规模，很难满足资源设置的资源时，任务就会被挂起，或者根本不会执行】 2.flink-pre【按需申请，能更加合理的利用资源】 详解2中模式的区别： ：第一种模式：单个yarn session模式 这种方式需要先启动集群，然后在提交作业，接着会向yar...
flink的onYarn模式环境搭建
qw3276425405的博客
05-27 1347
一.onYarn模式 把资源管理器交给yarn模式进行管理 1.两种运行模式 1）session-cluster模式 session：会话，开辟一块新的公共的空间 先启动集群，直接向yarn申请空间，资源（session）保持不变，这个集群会常驻在yarn的集群中，不需要时进行手动停止，job任务可以向这个session提交，所有任务共享这个session，如果资源用完，需要等待之间的任务执行完毕释放资源才可以使用。 例：有100个工人，装修公司有5家，a公司有30人，b公司有10人等，a公司不
Apache Flink连载（十九）：Flink On Yarn运行-Yarn Session模式
最新发布
qq_32020645的博客
12-28 1576
🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-优快云博客🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频。
Flink安装与运行——flink on yarn
热门推荐
雾幻的博客
01-22 1万+
Flink下载地址：https://flink.apache.org/downloads.html 因目前Flink尚未集成hadoop2.9版本，因此选择2.7稳定版进行安装（兼容） 以下操作请在集群的所有节点进行 解压重命名 $ tar -zxvf flink-1.7.1-bin-hadoop27-scala_2.11.tgz /opt/beh/core $ mv flink-1.7.1...
Flink on yarn
hyunbar的博客
05-21 567
1、准备 准备集群 Zookeeper集群 Hadoop集群 准备flink jar包 官网地址：https://flink.apache.org/downloads.html flink-1.8之后没有集成hadoop，需要下载对应的hadoop jar包 1.8之前： 1.8之后： 需要下载对应hadoop的组件（然后放入flink的lib目录下） 配置Hadoop的环境变...
Flink ON YARN
libaowenBlog的博客
08-20 4226
Flink ON YARN 模式就是使用客户端的方式，直接向Hadoop集群提交任务即可，不需要单独启动Flink进程。
Flink On YARN
L, there!
01-04 1038
1. 两种模式 1. 共用一个 yarn-session 在 YARN 中初始化一个 Flink 集群，初始化好资源，提交的任务都在这个集群执行，共用集群的资源。 这个 Flink集群常驻在 YARN 集群中，要关闭可以手动停止。 2. 每个Job启动一个集群 每次提交都会创建一个新的 Flink 集群，Job之间是互相独立的。任务执行完之后集群会注销。 2. yarn-s...
flink on yarn模式
fct2001140269的博客
12-29 724
在flink on yarn模式中，flink yarn-session的两种提交方式 两种提交方式 1.yarn-session为flink app开辟公用资源 在yarn中初始化一个flink集群，开辟指定的资源，以后提交任务都向这里提交。这个flink集群会常驻在yarn集群中，除非手工停止。 2.每个job提供一个yarn-session 每次提交都会创建一个新的flink集群，任务之间互...
Flink整合Oozie Shell Action 提交任务带Kerberos认证
微信搜：import_bigdata，大数据领域硬核原创作者
02-05 611
最近这段时间一直在忙新集群迁移，上了最新的cdh6.3.0 于是Flink 提交遇到了许多的问题，还好有cloudera License 有了原厂的帮助和社区的伙伴，问题解决起来快了不少。 集群具体情况是 CDH6.3.0 Flink1.8.1,整个数据平台全部组件都上了kerberos和ldap因为要过认证，所以任务提交方法我们选择统一Oozie提交任务，并且因为kerberos认证，还需要Fl...
Flink之三 flink on yarn
wangchunbo_1989的专栏
11-16 663
Flink的运行模式    flink的运行模式有local模式，cluster，yarn等模式;flink集群层次结构     这一节我们主要一起了解flink on yarn 模式，flink on yarn 有两种模式：       一：long-running Flink cluster on YARN      二 ： run a Flink job on YARN Star...
一张图轻松掌握 Flink on YARN 应用启动全流程（上）
weixin_30794491的博客
09-25 310
Flink 支持 Standalone 独立部署和 YARN、Kubernetes、Mesos 等集群部署模式，其中 YARN 集群部署模式在国内的应用越来越广泛。Flink 社区将推出 Flink on YARN 应用解读系列文章，分为上、下两篇。本文基于 FLIP-6 重构后的资源调度模型将介绍 Flink on YARN 应用启动全流程，并进行详细步骤解析。下篇将根据社区大群反馈，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

酒城译痴无心剑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值