本文详细介绍了Apache Flink在Yarn上的两种部署模式：Yarn-session和Pre-Job。Yarn-session模式适合长期运行的流处理任务，具有高灵活性和资源隔离性；Pre-Job模式适用于独立、短期任务，资源独立且调度粒度细。根据实际需求选择合适模式可最大化Flink性能。
Flink On Yarn模式：Yarn-session模式与Pre-Job模式的比较
引言
Apache Flink是一种功能强大的分布式流处理和批处理框架，它可以在大数据环境中高效处理数据。在使用Flink时，我们可以选择不同的部署模式，其中，Flink On Yarn模式是一种常见的选择。在本文中，我们将重点讨论在Flink On Yarn模式下的两种常见使用模式：Yarn-session模式和Pre-Job模式，并比较它们之间的区别。
一、Yarn-session模式
Yarn-session模式是指在Flink On Yarn模式下，用户可以启动一个长期运行的Flink集群，称为Yarn会话（Yarn Session）。在Yarn-session模式下，Flink作业以独立任务的形式运行在已经启动的Yarn会话中。
使用Yarn-session模式的步骤如下：
- 启动Yarn会话：
$ ./bin/yarn-session.sh -n <number-of-taskmanagers> 
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
