Flink on yarn模式部署

fragrans

已于 2022-02-02 16:49:46 修改

阅读量3.1k

点赞数

分类专栏： CDH和大数据组件 Flink 文章标签： flink yarn java

于 2022-02-02 15:45:32 首次发布

本文链接：https://blog.youkuaiyun.com/litlit023/article/details/122761791

版权

Flink 同时被 2 个专栏收录

56 篇文章 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

CDH和大数据组件

20 篇文章

订阅专栏

本文档详细介绍了如何在Docker环境下基于CDH部署Flink on YARN，包括遇到的如缺少Hadoop依赖和JDK版本不兼容等异常的解决办法，以及调整YARN内存和固定Flink提交端口的步骤，并提供了启动WordCount示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 基于docker部署cdh

2. 遇到的异常

2.1 flink下缺少hadoop相关依赖

2.2 jdk7造成的错误

3. 启动flink on yarn模式

3.1 调整yarn集群可用内存大小

3.2指定flink submit端口库，固定下来

4. 启动flink on yarn的wordcount例子

1. 基于docker部署cdh

基于Docker搭建CDH单机单节点集群_litlit023的专栏-优快云博客

2. 遇到的异常

2.1 flink下缺少hadoop相关依赖

基于docker 部署cdn后，启动flink on yarn模式，报了以下错误

./bin/yarn-session.sh -n 2 -jm 1024 -tm 1024
报了以下错误

Error: A JNI error has occurred, please check your installation and try again
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/exc

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

fragrans

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

订阅专栏

【大数据入门核心技术-Flink】（四）Flink安装部署-Flink On Yarn模式

08-29

455

Flink支持多种安装模式- Local—本地单机模式，学习测试时使用- Standalone—独立集群模式，Flink自带集群，开发测试环境使用- StandaloneHA—独立集群高可用模式，Flink自带集群，开发测试环境使用- Flink On Yarn—计算资源统一由Hadoop YARN管理，生产环境使用本文主要演示Flink On Yarn模式的安装部署。

7. Flink on yarn模式部署以及flink和hive的集成

03-29

2948

文章目录1. Flink Yarn 模式高可用性配置 1. Flink Yarn 模式高可用性配置本次采用自编译（基于Flink-1.10，hadoop-2.9.2）搭建集群 Flink高可用集群搭建启动集群时遇到的错误错误一 java.lang.NoSuchMethodError: org.apache.commons.cli.Option.builder(Ljava/lang/St...

参与评论您还未登录，请先登录后发表或查看评论

Flink集群部署

IT深耕十余载，大道之简

09-30

1404

综上所述，Flink集群部署是一个复杂但至关重要的过程。通过仔细准备环境、下载与安装软件、配置参数、启动集群以及进行测试与验证等步骤，可以确保Flink集群的稳定性和可用性。同时，在选择部署模式和注意事项方面也需要根据实际需求进行权衡和决策。Flink支持多种部署模式，包括Standalone模式、YARN模式和Kubernetes模式等。在选择部署模式时，需要考虑集群的规模、资源利用率、可维护性等因素。

Flink on Yarn模式部署

陈小哥cw

06-17

8366

独立（Standalone）模式由 Flink 自身提供资源，无需其他框架，这种方式降低了和其他第三方资源框架的耦合性，独立性非常强。但我们知道，Flink 是大数据计算框架，不是资源调度框架，这并不是它的强项；所以还是应该让专业的框架做专业的事，和其他资源调度框架集成更靠谱。而在目前大数据生态中，国内应用最为广泛的资源管理平台就是 YARN 了。所以接下来介绍的是 YARN 平台上 Flink 是如何集成部署的。整体来说，YARN 上部署的过程是：客户端把 Flink 应用提交给 Yarn 的Resour

Flink Web UI无法访问

最新发布

止步听风的博客

04-27

323

Flink版本：1.14.6。java版本：1.8。

flink on yarn部署

AttributeSet的博客

04-21

2872

官网下载对应的版本 flink版本-1.13.6 hadoop版本-3.2.1 步骤：首先安装jdk 1、配置hosts vi /etc/hosts 例如： 192.168.0.1 flink1 192.168.0.3flink2 192.168.0.3flink3 2、防火墙关闭 firewall-cmd --state # 查看是否running systemctl stop firewalld #停止firewall systemctl disable fire...

flink on yarn集群部署模式

m0_73814022的博客

01-17

1466

介绍YARN 上部署的过程是：客户端把 Flink 应用提交给 Yarn 的ResourceManager, Yarn 的 ResourceManager 会向 Yarn 的 NodeManager 申请容器。在这些容器上，Flink 会部署JobManager 和 TaskManager 的实例，从而启动集群。Flink 会根据运行在 JobManger 上的作业所需要的 Slot 数量动态分配TaskManager 资源。集群部署模式分为1.会话模式2.单作业模式3.应用模式。

Flink1.11.0 flink on yarn 模式部署详解

shkstart的博客

08-28

4254

上月，Flink发布了新版本1.11.0，增加了很多重要新特性，包括增加了对Hadoop3.0.0以及更高版本Hadoop的支持，不再提供“flink-shaded-hadoop-*” jars，而是通过配置YARN_CONF_DIR或者HADOOP_CONF_DIR和HADOOP_CLASSPATH环境变量完成与yarn集群的对接。具体步骤如下：下载Flink1.11.0安装包 flink安装包下载地址确保安装有Hadoop集群，版本至少Hadoop 2.4.1 配置环境变量增加环境变量如下：

Flink On Yarn模式部署与验证

延宝小白马的博客

07-30

657

该模式下分为2步，即使用yarn-session.sh申请资源，然后 flink run提交任务。

Flink实战——Yarn运行模式部署

m0_46332441的博客

04-10

2520

梁宇明-Voidbox – Docker on YARN

10-30

该文档来自阿帕奇2015中国路演。梁宇明发表了题为“Voidbox – Docker on YARN”的主题演讲，欢迎下载！

Voidbox - Docker On YARN在Hulu的实践

12-17

Hulu 资深研发主管梁宇明《Voidbox - Docker On YARN在Hulu的实践》

FLINK_ON_YARN-1.14.3.jar

04-05

CDH6.2 FLINK on yarn : FLINK_ON_YARN-1.14.3.jar

第二十五节 Docker 部署 Flink on Yarn

weixin_40189744的博客

08-19

295

一、环境系统版本 centos7.6 docker版本 Docker version 20.10.10 准备文件： hadoop-3.3.1.tar.gz #hadoop安装包 hadoopfiles.tar.gz #hadoop内部各种配置文件 jdk1.8.0_201.tar.gz #安装ja...

Flink on Yarn三部曲之二：部署和设置

2401_84152928的博客

04-30

682

针对最近很多人都在面试，我这边也整理了相当多的面试专题资料，也有其他大厂的面经。希望可以帮助到大家。最新整理面试题上述的面试题答案都整理成文档笔记。也还整理了一些面试资料&最新2021收集的一些大厂的面试真题最新整理电子书最新整理大厂面试文档以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》点击传送门，即可获取！本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。

Flink 集群部署

m0_72168501的博客

03-13

1978

Flink 环境部署

flink on yarn

06-08

Flink on YARN是指Flink框架在Apache Hadoop YARN上的运行模式。YARN是Apache Hadoop的资源调度和管理系统，它负责将Hadoop集群中的资源分配给不同的应用程序。Flink on YARN允许Flink应用程序以分布式模式在YARN集群上运行，同时可以充分利用YARN的资源管理和调度能力。这种模式下，Flink应用程序可以在YARN上进行动态资源分配和管理，根据需要自动调整资源使用，从而提高应用程序的效率和可靠性。