Flink中的YARN部署和Kubernetes部署对比

最新推荐文章于 2025-09-24 18:58:26 发布
原创 最新推荐文章于 2025-09-24 18:58:26 发布 · 1.1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flink #kubernetes #大数据

本文比较了Flink在YARN和Kubernetes上的部署方式，涉及资源管理、调度、适用场景、主要区别以及常用的运维命令。YARN适合Hadoop集群，Kubernetes则提供更灵活的容器编排。

Flink中的YARN部署和Kubernetes部署

目录

正文

1. 定义

  • YARN：Apache Hadoop YARN（Yet Another Resource Negotiator）是一个用于集群资源管理和作业调度的开源框架。
  • Kubernetes：Kubernetes（简称K8s）是一个开源的容器编排平台，用于自动化容器的部署、扩展和管理。

2. 基本原理

  • YARN：在YARN上部署Flink作业时，Flink作为一个YARN应用程序运行。YARN负责资源管理和任务调度，并分配资源给Flink的JobManager和TaskManager。
  • Kubernetes：在Kubernetes上部署Flink作业时，Flink作为Kubernetes Pod运行。Kubernetes负责容器编排、资源管理和任务调度
最低0.47元/天 解锁文章
Flink on Yarn/K8s原理剖析及实践
litlit023的专栏
11-19 951
1. Flink整体架构概览 如下为Flink的架构图，用户可以使用4种方式（DataStream、DataSet等）编写flink任务，这些任务逻辑会生成一个JobGraph。 JobGraph由source、map()、keyBy()/window()和slink等算子组成。 当JobGraph提交给Flink集群后，能够以4种模式运行（Local、Yarn等） 2. Flink架构概览之--JobManager JobManager的架构图如下所示，JobManager的主要功能有：
flink实战--flink on k8s (Kubernetes)
阿华田的博客
10-19 5061
Flink on Kubernetes 的发展历史 在 Flink 的早期发行版 1.2 中，已经引入了 Flink Session 集群模式，用户得以将 Flink 集群部署在 Kubernetes 集群之上。随着 Flink 的逐渐普及，越来越多的 Flink 任务被提交在用户的集群中，用户发现在 session 模式下，任务之间会互相影响，隔离性比较差，因此在 Flink 1.6 版本中，推出了 Per Job 模式，单个任务独占一个 Flink 集群，很大的程度上...
大数据架构中的资源调度：YARN与Kubernetes对比
最新发布
小白菜的博客
09-24 1009
想象一下你经营一家“数据餐厅”，每天要处理成百上千桌客人（任务）的订单（数据计算需求）。厨房（集群）里有很多厨师（计算节点）、锅碗瓢盆（存储/网络资源），但资源有限——如果某桌客人占着8口锅不用（资源浪费），或者新来的客人等半小时没锅用（任务等待），餐厅的效率就会暴跌。这时候就需要一位“后厨调度长”，根据订单类型（任务优先级）、人数（资源需求）、菜品复杂度（任务类型），把锅碗瓢盆公平且高效地分配给不同的客人。在大数据架构中，这个“后厨调度长”就是资源调度系统。
YARN 与 K8s 的容器化资 源混部实践
11-10
YARN 与 K8s 的容器化资 源混部实践
Spark内容分享(十)：Kubernetes部署让Spark更灵活
之乎者也·的博客
01-02 1460
Spark 是一个开源的数据处理框架，能快速处理大量数据的转换。其高性能来自Spark的分布式框架，通常一个任务会被平均分配，跨机器集群工作。但Spark本身并不管理这些计算机，他需要一个集群的管理器来管理集群。Spark定义了需要执行的任务，而管理器决定了任务将如何被分配被执行，由此可见其重要性。这个管理器需要负责任务的接收、资源的调度和分配、任务的启动、TaskTrack监控等。传统上，我们会选择Hadoop YARN来作为资源调度管理器，并且使用spark-submit提交任务。
Apache Flink 进阶（四）：Flink on Yarn / K8s 原理剖析及实践
Ververica的博客
10-15 4274
本文根据 Apache Flink 进阶篇系列直播课程整理而成，由阿里巴巴技术专家周凯波（宝牛）分享，主要介绍 Flink on Yarn / K8s 的原理及应用实践，...
Flink部署-yarn模式和K8S模式
weixin_52126591的博客
02-29 1845
以Yarn模式部署Flink任务时，要求Flink是有 Hadoop 支持的版本，Hadoop 环境需要保证版本在 2.2 以上，并且集群中安装有 HDFS 服务。Flink提供了两种在yarn上运行的模式，分别为Session-Cluster和Per-Job-Cluster模式。Session-Cluster 模式需要先启动集群，然后再提交作业，接着会向 yarn 申请一块空间后，资源永远保持不变。
藏经阁-Deploy Apache Flink Natively on YARN_Kubernetes.pdf
09-09
本文总结了 Apache Flink 在 YARN 和 Kubernetes 中的本地部署方法，介绍了 Flink 生态系统在阿里云中的应用，并讨论了资源配置和扩展资源映射的重要性。阿里云基于 Flink 的大数据处理平台提供了完整的解决方案，...
Flink 3种部署模式、保证高可用的区别/Standalone Cluster/Yarn Cluster /Kubernetes Cluster
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
01-13 2983
1 Standalone Cluster Master-Slave架构，JobManager运行在Master节点，TaskManager运行在Slave节点，与HDFS/Hadoop无关 Active JobManager挂掉时，通过Zookeeper选举多个StandByJobManager成为Active JobManager来保证高可用 2 Yarn Cluster 【一个作业只运行一个JobManager，JobManager挂掉时会通过重启来保证高可用】 2.1 Yarn Ses..
Flink-1.19.0源码详解-番外补充1-Flink on Yarn的三种部署模式解析
li72767的博客
05-14 1291
Flink on Yarn的三种部署模式解析
Flink 与 Kubernetes (K8s)、YARN 和 Mesos集成对比
FLGB
09-19 2064
Kubernetes 更适合现代化的云原生应用，尤其是当你已经在使用 K8s 进行容器编排时，Flink 在 Kubernetes 上可以很好地支持自动扩展、容器化部署和微服务架构。YARN 是经典的 Hadoop 生态系统的一部分，如果你已有 YARN 集群或需要与 Hadoop 集成，Flink 在 YARN 上运行是理想的选择。Mesos 更适合多租户、大规模集群的资源共享和调度，如果你的集群中需要协调多个框架和作业共享资源，Mesos 是一个不错的选择。
kubernetes-yarn
06-23
Kubernetes-YARN 使用作为调度程序的版本。 将 Kubernetes 与 YARN 集成，用户可以运行打包为 pod（使用 Kubernetes）和 YARN 应用程序（使用 YARN）的容器，同时确保跨这些（PaaS 和数据）工作负载的通用资源管理。 Kubernetes-YARN 目前处于原型/alpha 阶段 这种集成正在开发中。 请期待错误和重大变化，因为我们努力使事情更稳定并添加其他功能。 入门 开发环境 Kubernetes 和 Kubernetes-YARN 是用编写的。 目前，支持基于和的设置机制。 以下说明用于创建基于 vagrant 的集群。 有关可靠的说明，请参阅。 请确保您安装了 、Go（至少 1.3）、Vagrant（至少 1.6）、VirtualBox（至少 4.3.x）和 git。 运行 boot2docker 以启动一个运行着 docker
Flink on k8s容器日志生成原理及与Yarn部署时的日志生成模式对比
大数据开发、JAVA开发、人工智能AI
10-12 3125
Flink on k8s容器日志生成原理及与Yarn部署时的日志生成模式对比。为什么在Yarn上部署时，有.out、.err和.log三个日志文件，而在k8s上部署时只有.log日志文件
Spark On K8S与Spark On YARN方案相比之劣势
学亮编程手记
07-17 2560
目前，存算分离的方案相对已经比较成熟，容器化方案还处于探索和小规模应用阶段，以 Spark 为例，方案大体上分为 2 种： 一种是 Spark Standalone，该方案仅对大数据系统做容器化部署改造，得益于容器轻量化、更细粒度的算力管理、任务隔离等特点，可以将主机划分成更多小颗粒的任务单元，使主机资源利用率更高，同时兼顾用户原有的使用习惯。 但此方案需要提前分配固定的容器数量，并保持容器的持续运行，无法对容器进行动态管理，资源的利用率虽然有所提升，但仍存在浪费。 另一种是 Spark On Kubern
yarn和k8s(kubernetes)混合部署初步方案（利用cgroup资源限制）
monkeyboy_tech的博客
03-09 4068
版本 yarn 2.6.0 k8s v1.15.2 背景 随着k8s的越来越火热以及k8s的可扩展以及自修复优势，k8s势必是互联网的优势，但是很大一部分公司的资源管理工具依旧是yarn，而且yarn和k8s也必然并行很久一段时间， 但是由于yarn的隔离型相对于k8s来说还是很弱的，好在yarn 2.6.0版本也集成了LinuxContainerExecutor（默认是DefaultContainerExecutor），也就是说yarn在好长一段时间是不支持cpu限制的，LinuxContainerExe
Kubernetes与YARN的结合
热门推荐
TragicJun的专栏
03-05 1万+
Hortonworks在去年启动的项目kubernetes-yarn，旨在将kubernetes框架运行在YARN集群上，做为YARN的一种Application。这样的做的好处是，kubernetes可以与其他已有的Hadoop生态链的框架共享集群，可以参考http://zh.hortonworks.com/blog/openshift-v3-kubernetes-docker-hadoop-ya
yarn原理_Flink on Yarn / K8s 原理剖析及实践
weixin_39665847的博客
11-24 610
本文根据 Apache Flink 进阶篇系列直播课程整理而成，由阿里巴巴技术专家周凯波(宝牛)分享，主要介绍 Flink on Yarn / K8s 的原理及应用实践，文章将从 Flink 架构、Flink on Yarn 原理及实践、Flink on Kubernetes 原理剖析三部分内容进行分享并对 Flink on Yarn/Kubernetes 中存在的部分问题进行了解答。F...
Flink on K8s 概述
tianhouquan的专栏
04-26 2264
flink on k8s
Apache Flink 进阶教程（四）：Flink on Yarn/K8s 原理剖析及实践
qq_24095055的博客
06-28 717
文章目录Flink 架构概览Flink 架构概览–JobFlink 架构概览–JobManagerFlink 架构概览–TaskManagerFlink 运行时相关组件Flink on Yarn 原理及实践Yarn 架构原理–总览Yarn 架构原理–组件Yarn 架构原理–交互Flink on Yarn–Per JobFlink on Yarn–SessionYarn 模式特点Flink on Yarn 实践Flink on Kubernetes 原理剖析Kubernetes–基本概念Kubernetes–
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

BigDataMLApplication

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值