Apache Flink连载(十二):Flink集群部署-Flink On Yarn

本文详细介绍了Apache Flink在Yarn上的部署和配置,包括Flink与不同版本Hadoop的整合,Flink on Yarn的环境准备,以及任务提交测试。在Flink 1.8版本后,整合Hadoop需要特定的shaded jar,并在Flink 1.11版本后使用Hadoop2.8.5+的安装包。提交Flink任务的客户端需配置HADOOP_CLASSPATH环境变量,并确保安装了Hadoop2.10.2+版本。文章还演示了应用模式的任务提交过程和结果查看。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

🏡 个人主页IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-优快云博客

 🚩 私聊博主:加入大数据技术讨论群聊,获取更多大数据资料。

 🔔 博主个人B栈地址:豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频


目录

1. Flink不同版本与Hadoop整合

2. Flink on Yarn 配置及环境准备

3. 任务提交测试


Flink可以基于Yarn来运行任务,Yarn作为资源提供方,可以根据Flink任务资源需求动态的启动TaskM

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT贫道

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值