Apache Flink连载（十二）：Flink集群部署-Flink On Yarn

原创 已于 2023-12-28 00:24:53 修改 · 987 阅读 · 16 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#apache #flink #大数据

于 2023-12-13 07:30:00 首次发布
本文详细介绍了Apache Flink在Yarn上的部署和配置，包括Flink与不同版本Hadoop的整合，Flink on Yarn的环境准备，以及任务提交测试。在Flink 1.8版本后，整合Hadoop需要特定的shaded jar，并在Flink 1.11版本后使用Hadoop2.8.5+的安装包。提交Flink任务的客户端需配置HADOOP_CLASSPATH环境变量，并确保安装了Hadoop2.10.2+版本。文章还演示了应用模式的任务提交过程和结果查看。

🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-优快云博客

 🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。

 🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频

目录

1. Flink不同版本与Hadoop整合

2. Flink on Yarn 配置及环境准备

3. 任务提交测试

Flink可以基于Yarn来运行任务，Yarn作为资源提供方，可以根据Flink任务资源需求动态的启动TaskManager来提供资源。Flink基于Yarn提交任务通常叫做Flink On Yarn，Yarn资源调度框架运行需要有Hadoop集群。

1. Flink不同版本与Hadoop整合

Flink基于Yarn提交任务时，需要Flink与Hadoop进行整合。Flink1.8版本之前，Flink与Hadoop整合是通过Flink官方提供的基于对应hadoop版本编译的安装包来实现，例如：flink-1.7.2-bin-hadoop24-scala_2.11.tgz ，在Flink1.8版本后不再支持基于不同Hadoop版本的编译安装包，Flink与Hadoop进行整合时，需要在官网中下载对应的Hadoop版本的“flink-shaded-hadoop-2-

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Apache Flink连载（二十一）：Flink On Yarn运行原理-Yarn Application模式
qq_32020645的博客
12-30 1255
🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-优快云博客🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频。
Apache Flink连载（十九）：Flink On Yarn运行-Yarn Session模式
qq_32020645的博客
12-28 1667
🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-优快云博客🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频。
Apache Flink连载（十一）：Flink集群部署-Standalone集群部署
qq_32020645的博客
12-12 1428
🏡🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。Flink的安装和部署主要分为本地（单机）模式和集群模式，其中本地模式只需直接解压就可以使用，不用修改任何参数，一般在做一些简单测试的时候使用。本地模式在这里不再赘述。集群部署模式主要包含Standalone、Hadoop Yarn 、Kubernetes等，Flink可以借助以上资源管理器来实现分布式计算，目前企业使用最多的是Flink 基于Hadoop Yarn资源管理器模式，本小节我们重点讲解Flink 基于Standalone集群。
Flink on YARN：大数据集群部署最佳实践
Golang编程笔记的博客
10-02 841
在大数据领域，实时处理需求日益增长。Flink作为Apache顶级流处理框架，以低延迟、高吞吐和精准一次处理语义著称；而YARN（Yet Another Resource Negotiator）作为Hadoop生态的资源管理核心，负责集群资源的统一分配与调度。两者结合（Flink on YARN）能充分利用YARN的资源管理能力，实现Flink任务的动态扩缩容、高可用和多租户隔离。本文覆盖从基础概念到实战部署的全流程，适用于中大型企业的生产环境部署场景。
Apache Flink连载（二十）：Flink On Yarn运行 - Yarn Per-Job模式（弃用）
qq_32020645的博客
12-29 1239
🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-优快云博客🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频。Per-Job模式就是直接由客户端向Yarn中提交Flink作业，每个作业形成一个单独的Flink集群。
flink部署操作-flink on yarn集群安装部署
热门推荐
大数据技术博客
03-16 5万+
flink集群安装部署 yarn集群模式 Flink入门及实战-上： http://edu.51cto.com/sd/07245 Flink入门及实战-下： http://edu.51cto.com/sd/5845e 快速开始 在yarn上启动一个一直运行的flink集群 在yarn上运行一个flink job flink yarn session 启动flink ses...
Flink系列三：Flink架构、独立集群搭建及Flink on YARN模式详解
weixin_52134189的博客
05-31 3827
Flink架构,Flink独立集群搭建与使用,Flink on yarn的三种部署模式(Application,Per-Job Cluster,Session )
Apache Flink连载（十八）：Flink On Yarn运行原理及环境准备
qq_32020645的博客
12-27 1867
🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-优快云博客🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频。
Flink1.18.0集成Yarn-session模式部署
weixin_43655425的博客
01-19 1663
YARN上部署的过程是：客户端把Flink应用提交给Yarn的ResourceManager, Yarn的ResourceManager会向Yarn的NodeManager申请容器。在这些容器上，Flink会部署JobManager和TaskManager的实例，从而启动集群。Flink会根据运行在JobManger上的作业所需要的Slot数量动态分配TaskManager资源。分发flink安装目录到2、3、4节点。flink版本：1.18.0。浏览器打开flink-ui地址。这次集成下flink。
如何在 CentOS 7 上通过调优 Apache Tomcat 配置，提高高并发电商网站的性能？
A5互联
01-04 711
在电商高峰期（如双十一、双十二、黑五等促销活动期间），网站需要承载大量并发访问请求，如何在现有硬件条件下，通过合理调优 Apache Tomcat，使其在 CentOS 7 上稳定支撑高并发负载，是提升电商平台性能的核心运维技术之一。A5数据在本文中基于实际生产环境案例，以具体参数、技术细节、实现方法和性能评测为导向，逐步讲解如何从 Tomcat 配置、JVM 参数、操作系统内核和网络层面进行全面优化。
Linux-Web服务（Apache）
Maggie_ssss_supp的博客
01-05 587
Apache HTTP Server（简称Apache）是Apache软件基金会的一个开源的web服务器，Apache是世界使用排名第一的Web服务器软件。它可以运行在几乎所有广泛使用的计算机平台上，由于其跨平台和安全性被广泛使用，是最流行的Web服务器端软件之一。1.主配置目录：/etc/httpd/conf/2.子配置目录：/etc/httpd/conf.d/2.默认发布目录：/var/www/html/3.默认监听端口：804.检查是否有语法问题：httpd -t。
Debian 10 系统中高并发下 Apache 进程崩溃问题：如何通过调整 ulimit 与配置优化修复
A5互联
01-02 771
我在一次为跨境电商做高并发压测的实战中，遇到了 Debian 10 系统上 Apache 在高请求并发下频繁崩溃／重启的问题。A5数据www.a5idc.com通过分析系统日志、性能计数器和压力测试数据，最终定位到是 系统资源限制（ulimit）与 Apache 默认配置在高并发场景下不匹配 导致的“进程耗尽 & 内存泄漏式重启”。本文将基于该故障案例，给出完整的排查思路、软硬件参数、调优方法、代码示例与优化前后对比评测。
时序数据库选型操作：Apache IoTDB 的深度实战应用
微学AI的博客
01-07 742
本文对主流时序数据库进行对比分析，重点介绍了Apache IoTDB的核心优势。首先概述了时序数据的特点及选型标准，包括写入性能、压缩率、查询效率和生态集成等维度。随后分析了InfluxDB、TimescaleDB和OpenTSDB三款国外时序数据库的特性与适用场景。最后详细阐述了IoTDB的架构设计、存储格式和性能优势，特别强调其在工业物联网、智慧能源等领域的应用价值，以及端-边-云协同能力。文章还提供了IoTDB在Ubuntu系统下的Docker部署指南，帮助读者快速体验其功能。
2025 年 Apache DolphinScheduler 案例精选
hopsky的博客
01-05 632
精选集展示了Apache DolphinScheduler在互联网、云计算、智能制造、AI研发等领域的深度应用，通过容器化部署、流批统一调度、数据血缘治理、多系统协同等方案，解决了企业数据调度中的弹性、稳定性与扩展性难题。社区持续推动开源生态创新，为企业构建高可用、智能化的调度平台提供实践指南。完整案例详见各章节链接，或访问Apache DolphinScheduler官网。
Apache Hadoop-HDFS介绍
kong7906928的博客
01-03 942
Hadoop介绍，HDFS介绍
Apache POI XSSFWorkbook 写入Excel文件的潜在风险
最新发布
jiba12323234的博客
01-07 214
否则必然面临 OOM 或性能崩溃问题。可能会遇到以下问题，尤其是在处理。
PyFlink TableEnvironment 创建方式、核心 API、作业执行、UDF 与依赖、Catalog 管理与容错配置
hello.reader
01-06 533
Flink 的 Table/SQL 是声明式 API，你写的 DDL、SQL、Table API 链式调用，本质上都是在描述“要什么”，由 Flink Planner 生成执行计划并提交作业执行。适用于：你想在同一条链路里混用 DataStream 与 Table/SQL（例如自定义 Source、复杂 ProcessFunction、Table 负责聚合与 Join）。2）设置 TableConfig（并行度、checkpoint、statebackend、作业名）
PyFlink Table API 用纯 Python 写一个 WordCount（读 CSV + 聚合 + 写出）
hello.reader
01-06 1035
本文介绍了如何使用Flink Python Table API构建一个WordCount数据处理管道。主要内容包括：1)通过TableEnvironment创建流处理环境；2)使用TableDescriptor或DDL两种方式注册文件系统的CSV源表和JSON目标表；3)实现UDTF函数进行单词拆分；4)通过flat_map、group_by和count操作实现单词统计；5)执行execute_insert触发计算并输出结果。文章还提供了完整可运行代码示例，并分享了关于并行度设置、批流模式选择、文件格式选用
Flink SQL 性能调优MiniBatch、两阶段聚合、Distinct 拆分、MultiJoin 与 Delta Join 一文打通
hello.reader
01-04 606
在生产环境里，Flink SQL 的“慢”通常不是 SQL 写得不够花哨，而是执行算子默认策略更偏稳妥：逐条处理、频繁读写状态、Join 产生大量中间结果，最后把 RocksDB state 和网络 shuffle 一起拖进深坑。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT贫道

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值