[Flink课程]---- 2.3 部署方式

最新推荐文章于 2025-06-16 09:41:03 发布
最新推荐文章于 2025-06-16 09:41:03 发布
阅读量774 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Apache Flink 文章标签： Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/high2011/article/details/85056316
本文详细介绍了Flink的多种部署方式，包括Local、Standalone、Yarn等，并重点讲解了Flink在Yarn上的部署架构及提交作业步骤。同时，文章还探讨了Flink的高可用（HA）配置，包括选举leader、持久化checkpoint和配置细节。最后分享了在Yarn上部署Flink的实际经验，强调了平台化提交和日志管理的重要性。

一、支持的部署方式

  • Local
  • Standalone
  • Yarn
  • Mesos
  • Docker
  • Kubernetes
  • AWS

……
 

二、几个角色

  • ResourceManager
  • NodeManager
  • AppMaster
  • Container
  • YarnSession

注：选择On Yarn 的理由

  • 提高机器的利用率
  • Hadoop 开源活跃，且成熟

三、Flink on yarn 架构

四、Flink submit job on Yarn 的步骤

五、Flink HA配置

  • 选举leader
  • 持久化che
了解本专栏 订阅专栏 解锁全文 超级会员免费看
【Flink on k8s】- 9 - 本地部署 Flink kubernetes operator
欢迎来到我的博客，一起探索代码里的世界！
08-11 1117
flink kubernetes operator 版本： 1.4.0helm 版本： 3.1.0flink kubernetes operator 支持的 Flink 版本：v1.13, v1.14, v1.15, v1.16。
[Flink课程]---- 9.1 使用Ambari 搭建Flink 集群
欢迎来到我的博客，一起探索代码里的世界！
05-16 9756
1 前言 1.1 概览 Stateful Computations over Data Streams(数据流的状态计算) Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink设计为在所有常见的集群环境中运行，以内存速度和任何规模执行计算。 在这里，我们解释了Flink架构的重要方面。 处理无界和有界数据 任何类型的数据都是作...
Flink On Yarn应用部署
u011563666的博客
07-16 680
以 Yarn 模式部署 Flink 任务时，要求 Flink 是有 Hadoop 支持的版本， Hadoop环境需要保证版本在 2.2 以上，并且集群中安装有 HDFS 服务 Flink提供了两种在yarn上运行的模式，分别为Session-Cluster和Per-Job-Cluster模式。 1.Session-cluster模式 该模式会先在yarn集群中启动一个Flink集群，然后再提交作业，相当于所有Flink应用共享一个集群。具体使用步骤如下： 1）启动yarn-session ./y
flink-1.11.0+hadoop3.2.2 部署flink on yarn
m0_37813354的博客
06-20 1855
https://flink.apache.org/downloads.html#flink
Flink on YARN 部署
最新发布
qq_42773076的博客
06-16 951
在大数据计算领域，Apache Flink凭借其高性能、流批统一的特性，成为实时数据处理的首选框架。而YARN作为Hadoop生态的资源调度平台，能够为Flink提供强大的资源管理能力。将Flink部署在YARN上，既能充分利用集群资源，又能实现作业的灵活调度。本文将深入讲解Flink on YARN的部署要点，结合实际操作和常见问题解决，帮助开发者快速掌握这一关键技术。
Flink On Yarn部署讲解
靡不有初，鲜克有终
06-18 718
通过上节课的一些学习的话，我们了解了flinkonstandardlow的这样的一种集群部署模式的一些原理，以及它的一些具体的实践的一些操作。从本节课开始的话，我们重点去了解一下flinkon药的一些基本原理，以及它的一个实践的一个操作。首先我们先了解一下要的一个集群的一个架构的一个原理。对于做过大数据开发的这样的一些人员来讲的话，他其实对哈托普ER其实并不陌生。这个是作为我们整个大数据里面非常主流的这样的一个集群资源管理器。提供了这样的一套统一的一个资源管理和调度，以及我们的一个资源的一个操作。
hdfs通过接口退出安全模式_flink的yarn模式部署
weixin_39591455的博客
11-26 423
1、yarn cluster 模式部署介绍mr和spark都可以基于yarn模式部署，flink也不例外，生产中很多也基于yarn模式部署。flink的yarn模式部署也分为两种方式，一种是yarn-session，一种是yarn-per-job。大致如下图：2、flink session HA模式需要先启动集群，然后在提交作业，接着会向yarn申请一块资源空间后，资源永远保持不变。如果资源满了，...
Flink on yarn的部署
weixin_44835472的博客
12-17 575
1.环境变量配置 若要在Yarn上运行Flink应用，必须事先告诉Flink和yarn有关的配置。需要怎么告诉Flink呢？ 提交Flink任务的client端必须要设置YARN_CONF_DIR或者HADOOP_CONF_DIR环境变量，通过这个环境变量来读取YARN和HDFS的配置信息，否则提交任务会失败。 2.提交Flink任务到yarn的两种方式 同时启动Yarn applicatio...
Flink Exactly-Once语义实现原理：大数据精准处理
AI天才研究院
05-04 798
在实时流处理场景中，数据以无限流的形式持续产生，系统需要在分布式、高并发、故障频发的环境下保证数据处理的准确性。Flink的Exactly-Once语义承诺每个输入事件仅会被处理一次并产生唯一确定的结果，这对于金融交易、实时对账、物联网监控等对数据准确性要求极高的场景至关重要。本文将深入解析Flink实现Exactly-Once语义的核心技术，包括分布式快照（Checkpoint）机制水印（Watermark）事件时间处理。
【Flink on k8s】- 11 - 使用 Flink kubernetes operator 运行 Flink 作业
欢迎来到我的博客，一起探索代码里的世界！
12-06 500
【代码】【Flink on k8s】- 11 - 使用 Flink kubernetes operator 运行 Flink 作业。
Flink on Yarn部署
tom_fans的博客
04-12 2770
1.Flink 编译 这部分官方文档已经描述的很清楚，先下载源代码，再进行编译，直接下载二进制的不一定能符合你的需求。 git clone https://github.com/apache/flink mvn clean install -DskipTests -Pvendor-repos -Dhadoop.version=2.6.0-cdh5.10.2 等待大概20分钟左右，编译完成...
flink on yarn部署
weixin_39545874的博客
11-16 607
flink on yarn需要的组件与版本如下 Zookeeper 3.4.9 用于做Flink的JobManager的HA服务 hadoop 2.7.2 搭建HDFS和Yarn flink 1.3.2 或者 1.4.1版本(scala 2.11) Zookeeper, HDFS 和 Yarn 的组件的安装可以参照网上的教程。 在zookeeper，HDFS 和Yarn的组件的安装好的前提下，...
Flink on Yarn模式部署
陈小哥cw
06-17 8478
独立（Standalone）模式由 Flink 自身提供资源，无需其他框架，这种方式降低了和其他第三方资源框架的耦合性，独立性非常强。但我们知道，Flink 是大数据计算框架，不是资源调度框架，这并不是它的强项；所以还是应该让专业的框架做专业的事，和其他资源调度框架集成更靠谱。而在目前大数据生态中，国内应用最为广泛的资源管理平台就是 YARN 了。所以接下来介绍的是 YARN 平台上 Flink 是如何集成部署的。整体来说，YARN 上部署的过程是：客户端把 Flink 应用提交给 Yarn 的Resour
Flink on yarn应用部署
阿尼古
02-20 4144
我就是单纯的保留一份，晚点自己好看，不是原创，切勿上纲上线。 红色部分标出来，就是有人觉得不合适，不用分发，至于用不用，我也不是很清楚，这个需要搞的时候，搞一下不就晓得了。 随着物联网lOT的到来，万物连接一切，使得各大企业的数据也会井喷的增加。传统的大数据处理架构已经无法满足当前企业的发展，这个时候流式架构的出现，让企业的数据能够在较短的时间内处理快速响应迭代，满足企业各种场景下的不同需求。...
Flink on Yarn安装部署
weixin_44697677的博客
04-08 1252
flink run -m yarn-cluster -yjm 1024 -ytm 1024 examples/batch/WordCount.jar #作业提交的同时申请资源。flink run examples/batch/WordCount.jar #递交作业。yarn-session.sh -n 2 -tm 800 -s 1 -d #申请资源。1)会话(session)模式。2)分离(per-job)模式。
FLINK-1.14.0在CDH6.3.2环境下部署指南
标题中的“FLINK-1.14.0 cdh6.3.2.zip”指代的是一个特定版本的Apache Flink与Cloudera Distribution Hadoop（CDH）6.3.2结合的压缩包。Apache Flink是一个开源的流处理框架，用于处理和分析实时数据流，而CDH是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

oo寻梦in记

你的鼓励将是我创作的最大动力!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值