Flink中的YARN部署和Kubernetes部署对比

最新推荐文章于 2025-09-24 18:58:26 发布
原创 最新推荐文章于 2025-09-24 18:58:26 发布 · 1.1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flink #kubernetes #大数据

本文比较了Flink在YARN和Kubernetes上的部署方式，涉及资源管理、调度、适用场景、主要区别以及常用的运维命令。YARN适合Hadoop集群，Kubernetes则提供更灵活的容器编排。

Flink中的YARN部署和Kubernetes部署

目录

正文

1. 定义

  • YARN：Apache Hadoop YARN（Yet Another Resource Negotiator）是一个用于集群资源管理和作业调度的开源框架。
  • Kubernetes：Kubernetes（简称K8s）是一个开源的容器编排平台，用于自动化容器的部署、扩展和管理。

2. 基本原理

  • YARN：在YARN上部署Flink作业时，Flink作为一个YARN应用程序运行。YARN负责资源管理和任务调度，并分配资源给Flink的JobManager和TaskManager。
  • Kubernetes：在Kubernetes上部署Flink作业时，Flink作为Kubernetes Pod运行。Kubernetes负责容器编排、资源管理和任务调度
最低0.47元/天 解锁文章
Flink on Yarn/K8s原理剖析及实践
litlit023的专栏
11-19 951
1. Flink整体架构概览 如下为Flink的架构图，用户可以使用4种方式（DataStream、DataSet等）编写flink任务，这些任务逻辑会生成一个JobGraph。 JobGraph由source、map()、keyBy()/window()和slink等算子组成。 当JobGraph提交给Flink集群后，能够以4种模式运行（Local、Yarn等） 2. Flink架构概览之--JobManager JobManager的架构图如下所示，JobManager的主要功能有：
flink实战--flink on k8s (Kubernetes)
阿华田的博客
10-19 5061
Flink on Kubernetes 的发展历史 在 Flink 的早期发行版 1.2 中，已经引入了 Flink Session 集群模式，用户得以将 Flink 集群部署在 Kubernetes 集群之上。随着 Flink 的逐渐普及，越来越多的 Flink 任务被提交在用户的集群中，用户发现在 session 模式下，任务之间会互相影响，隔离性比较差，因此在 Flink 1.6 版本中，推出了 Per Job 模式，单个任务独占一个 Flink 集群，很大的程度上...
大数据架构中的资源调度：YARN与Kubernetes对比
最新发布
小白菜的博客
09-24 1008
想象一下你经营一家“数据餐厅”，每天要处理成百上千桌客人（任务）的订单（数据计算需求）。厨房（集群）里有很多厨师（计算节点）、锅碗瓢盆（存储/网络资源），但资源有限——如果某桌客人占着8口锅不用（资源浪费），或者新来的客人等半小时没锅用（任务等待），餐厅的效率就会暴跌。这时候就需要一位“后厨调度长”，根据订单类型（任务优先级）、人数（资源需求）、菜品复杂度（任务类型），把锅碗瓢盆公平且高效地分配给不同的客人。在大数据架构中，这个“后厨调度长”就是资源调度系统。
YARN 与 K8s 的容器化资 源混部实践
11-10
YARN 与 K8s 的容器化资 源混部实践
Spark内容分享(十)：Kubernetes部署让Spark更灵活
之乎者也·的博客
01-02 1459
Spark 是一个开源的数据处理框架，能快速处理大量数据的转换。其高性能来自Spark的分布式框架，通常一个任务会被平均分配，跨机器集群工作。但Spark本身并不管理这些计算机，他需要一个集群的管理器来管理集群。Spark定义了需要执行的任务，而管理器决定了任务将如何被分配被执行，由此可见其重要性。这个管理器需要负责任务的接收、资源的调度和分配、任务的启动、TaskTrack监控等。传统上，我们会选择Hadoop YARN来作为资源调度管理器，并且使用spark-submit提交任务。
Apache Flink 进阶（四）：Flink on Yarn / K8s 原理剖析及实践
Ververica的博客
10-15 4274
本文根据 Apache Flink 进阶篇系列直播课程整理而成，由阿里巴巴技术专家周凯波（宝牛）分享，主要介绍 Flink on Yarn / K8s 的原理及应用实践，...
Flink部署-yarn模式和K8S模式
weixin_52126591的博客
02-29 1845
以Yarn模式部署Flink任务时，要求Flink是有 Hadoop 支持的版本，Hadoop 环境需要保证版本在 2.2 以上，并且集群中安装有 HDFS 服务。Flink提供了两种在yarn上运行的模式，分别为Session-Cluster和Per-Job-Cluster模式。Session-Cluster 模式需要先启动集群，然后再提交作业，接着会向 yarn 申请一块空间后，资源永远保持不变。
藏经阁-Deploy Apache Flink Natively on YARN_Kubernetes.pdf
09-09
本文总结了 Apache Flink 在 YARN 和 Kubernetes 中的本地部署方法，介绍了 Flink 生态系统在阿里云中的应用，并讨论了资源配置和扩展资源映射的重要性。阿里云基于 Flink 的大数据处理平台提供了完整的解决方案，...
Flink 3种部署模式、保证高可用的区别/Standalone Cluster/Yarn Cluster /Kubernetes Cluster
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
01-13 2983
1 Standalone Cluster Master-Slave架构，JobManager运行在Master节点，TaskManager运行在Slave节点，与HDFS/Hadoop无关 Active JobManager挂掉时，通过Zookeeper选举多个StandByJobManager成为Active JobManager来保证高可用 2 Yarn Cluster 【一个作业只运行一个JobManager，JobManager挂掉时会通过重启来保证高可用】 2.1 Yarn Ses..
Flink-1.19.0源码详解-番外补充1-Flink on Yarn的三种部署模式解析
li72767的博客
05-14 1291
Flink on Yarn的三种部署模式解析
Flink 与 Kubernetes (K8s)、YARN 和 Mesos集成对比
FLGB
09-19 2064
Kubernetes 更适合现代化的云原生应用，尤其是当你已经在使用 K8s 进行容器编排时，Flink 在 Kubernetes 上可以很好地支持自动扩展、容器化部署和微服务架构。YARN 是经典的 Hadoop 生态系统的一部分，如果你已有 YARN 集群或需要与 Hadoop 集成，Flink 在 YARN 上运行是理想的选择。Mesos 更适合多租户、大规模集群的资源共享和调度，如果你的集群中需要协调多个框架和作业共享资源，Mesos 是一个不错的选择。
kubernetes-yarn
06-23
Kubernetes-YARN 使用作为调度程序的版本。 将 Kubernetes 与 YARN 集成，用户可以运行打包为 pod（使用 Kubernetes）和 YARN 应用程序（使用 YARN）的容器，同时确保跨这些（PaaS 和数据）工作负载的通用资源管理。 Kubernetes-YARN 目前处于原型/alpha 阶段 这种集成正在开发中。 请期待错误和重大变化，因为我们努力使事情更稳定并添加其他功能。 入门 开发环境 Kubernetes 和 Kubernetes-YARN 是用编写的。 目前，支持基于和的设置机制。 以下说明用于创建基于 vagrant 的集群。 有关可靠的说明，请参阅。 请确保您安装了 、Go（至少 1.3）、Vagrant（至少 1.6）、VirtualBox（至少 4.3.x）和 git。 运行 boot2docker 以启动一个运行着 docker
Flink on k8s容器日志生成原理及与Yarn部署时的日志生成模式对比
大数据开发、JAVA开发、人工智能AI
10-12 3125
Flink on k8s容器日志生成原理及与Yarn部署时的日志生成模式对比。为什么在Yarn上部署时，有.out、.err和.log三个日志文件，而在k8s上部署时只有.log日志文件
Spark On K8S与Spark On YARN方案相比之劣势
学亮编程手记
07-17 2560
目前，存算分离的方案相对已经比较成熟，容器化方案还处于探索和小规模应用阶段，以 Spark 为例，方案大体上分为 2 种： 一种是 Spark Standalone，该方案仅对大数据系统做容器化部署改造，得益于容器轻量化、更细粒度的算力管理、任务隔离等特点，可以将主机划分成更多小颗粒的任务单元，使主机资源利用率更高，同时兼顾用户原有的使用习惯。 但此方案需要提前分配固定的容器数量，并保持容器的持续运行，无法对容器进行动态管理，资源的利用率虽然有所提升，但仍存在浪费。 另一种是 Spark On Kubern
yarn和k8s(kubernetes)混合部署初步方案（利用cgroup资源限制）
monkeyboy_tech的博客
03-09 4067
版本 yarn 2.6.0 k8s v1.15.2 背景 随着k8s的越来越火热以及k8s的可扩展以及自修复优势，k8s势必是互联网的优势，但是很大一部分公司的资源管理工具依旧是yarn，而且yarn和k8s也必然并行很久一段时间， 但是由于yarn的隔离型相对于k8s来说还是很弱的，好在yarn 2.6.0版本也集成了LinuxContainerExecutor（默认是DefaultContainerExecutor），也就是说yarn在好长一段时间是不支持cpu限制的，LinuxContainerExe
Kubernetes与YARN的结合
热门推荐
TragicJun的专栏
03-05 1万+
Hortonworks在去年启动的项目kubernetes-yarn，旨在将kubernetes框架运行在YARN集群上，做为YARN的一种Application。这样的做的好处是，kubernetes可以与其他已有的Hadoop生态链的框架共享集群，可以参考http://zh.hortonworks.com/blog/openshift-v3-kubernetes-docker-hadoop-ya
yarn原理_Flink on Yarn / K8s 原理剖析及实践
weixin_39665847的博客
11-24 610
本文根据 Apache Flink 进阶篇系列直播课程整理而成，由阿里巴巴技术专家周凯波(宝牛)分享，主要介绍 Flink on Yarn / K8s 的原理及应用实践，文章将从 Flink 架构、Flink on Yarn 原理及实践、Flink on Kubernetes 原理剖析三部分内容进行分享并对 Flink on Yarn/Kubernetes 中存在的部分问题进行了解答。F...
Flink on K8s 概述
tianhouquan的专栏
04-26 2264
flink on k8s
Apache Flink 进阶教程（四）：Flink on Yarn/K8s 原理剖析及实践
qq_24095055的博客
06-28 717
文章目录Flink 架构概览Flink 架构概览–JobFlink 架构概览–JobManagerFlink 架构概览–TaskManagerFlink 运行时相关组件Flink on Yarn 原理及实践Yarn 架构原理–总览Yarn 架构原理–组件Yarn 架构原理–交互Flink on Yarn–Per JobFlink on Yarn–SessionYarn 模式特点Flink on Yarn 实践Flink on Kubernetes 原理剖析Kubernetes–基本概念Kubernetes–
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

BigDataMLApplication

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值