Flink on Yarn

最新推荐文章于 2025-03-11 08:53:12 发布

WQ同学

最新推荐文章于 2025-03-11 08:53:12 发布

阅读量201

点赞数

分类专栏： Flink 文章标签： flink

本文链接：https://blog.youkuaiyun.com/u012957549/article/details/119547518

版权

Flink 专栏收录该内容

1 篇文章

订阅专栏

本文详细介绍了Apache Flink在YARN上运行的两种模式：Session-Cluster和Per-Job-Cluster。Session-Cluster模式下，资源固定，适合小规模、短时间作业，而Per-Job-Cluster模式则按需分配资源，适合大规模、长时间运行的作业。启动和提交任务的命令行参数也在文中给出。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Flink 提供了两种在 yarn 上运行的模式，分别为 Session-Cluster 和 Per-Job-Cluster模式。
1) Session-cluster 模式：
在这里插入图片描述
Session-Cluster 模式需要先启动集群，然后再提交作业，接着会向 yarn 申请一块空间后，资源永远保持不变。如果资源满了，下一个作业就无法提交，只能等到yarn 中的其中一个作业执行完成后，释放了资源，下个作业才会正常提交。所有作业共享 Dispatcher 和 ResourceManager；共享资源；适合规模小执行时间短的作业。
在 yarn 中初始化一个 flink 集群，开辟指定的资源，以后提交任务都向这里提交。这个 flink 集群会常驻在 yarn 集群中，除非手工停止

启动方式

./yarn-session.sh -n 2 -s 2 -jm 1024 -tm 1024 -nm test -d

其中：

-n(--container)： TaskManager   的数量。
-s(--slots)： 每个 TaskManager 的 slot 数量，默认一个 slot 一个 core，默认每个taskmanager 的 slot 的个数为 1， 有时可以多一些 taskmanager，做冗余。
-jm： JobManager 的内存（ 单位 MB)。
-tm：每个 taskmanager 的内存（单位 MB)。
-nm： yarn 的 appName(现在 yarn 的 ui 上的名字)。
-d：后台执行。

执行任务

./flink run -c com.wen.flink.WordCountDemo
FlinkWorkCount-1.0-jar-with-dependencies.jar --host lcoalhost –port 9999

2) Per-Job-Cluster 模式：
在这里插入图片描述
一个 Job 会对应一个集群，每提交一个作业会根据自身的情况，都会单独向 yarn 申请资源，直到作业执行完成，一个作业的失败与否并不会影响下一个作业的正常提交和运行。独享 Dispatcher 和 ResourceManager，按需接受资源申请；适合规模大长时间运行的作业。
每次提交都会创建一个新的 flink 集群，任务之间互相独立，互不影响，方便管理。任务执行完成之后创建的集群也会消失。

提交job

./flink run –m yarn-cluster -c com.wen.flink.WordCountDemo
FlinkWorkCount-1.0-jar-with-dependencies.jar --host lcoalhost –port 9999