Yarn on K8S 的弹性介绍

最新推荐文章于 2025-04-16 20:16:45 发布
最新推荐文章于 2025-04-16 20:16:45 发布
阅读量3.1k 收藏 4
点赞数 1
文章标签： 分布式 kubernetes xhtml html twitter
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_45906054/article/details/118715142
版权
本文介绍了Yarn on K8S的弹性设计，包括背景、演进思路和总结展望。内容涉及在离线混部、节点资源感知、存算分离及集群弹性伸缩等阶段，旨在解决资源冲突，支持云原生方案。此外，还提出了未来在调度策略和资源管理上的优化方向。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

开源大数据社区 & 阿里云 EMR 系列直播 第十期

主题：Yarn on K8S 的弹性介绍

讲师：霁谦，开源大数据平台高级开发工程师

内容框架：

  • 背景介绍

  • 演进思路

  • 总结和展望

直播回放：扫描文章底部二维码加入钉群观看回放

1

背景介绍   

为什么要使用 Yarn on K8S

  • 作为在离线混部方案

  • 充分利用在离线计算资源

  • 不同集群计算资源共享，缓解“潮汐现象”

  • 推进云原生方案快速落地

2

演进思路   

阶段1：简单部署

局限性：

  • NMPod 挂载固定盘

  • NM 资源固定

  • 规则固定

最低0.47元/天 解锁文章
flink on k8s部署方案调研
直到世界的尽头
02-10 2378
背景 flink是目前最常用的大数据流计算处理引擎，一共有local，standalone，yarn，kubernetes四种安装部署机构方案。通常使用yarn进行管理，随着k8s云计算体系越来越成熟， 把flink部署在k8s中，是一种很好的趋势。 Standalone和yarn架构模式原理参考 Flink 选择 Kubernetes 作为其底层资源管理平台，原因包括两个方面： 1）Flink 特性：流式服务一般是常驻进程，经常用于电信网质量监控、商业数据即席分析、实时风控和实时推荐等对稳定性要求比较高的
大数据_Flink_数据处理_yarn和k8s平台的flink部署---Flink工作笔记0015
添柴程序猿的专栏
02-26 672
上一节我们已经学习了，怎么使用命令行来提交job集群，但是这样是有问题的。 因为在上一节中，我们为了要运行一个我们写的WordCountStream这个任务。由于资源不够了，我们主动去终止了之前上传的另外一个资源。释放了资源以后，有4个资源了，这个任务才能运行起来。 在实际的应用当中，我们肯定不能这样做，如果每次都需要主动去终止其他任务来获取资源，这样太繁琐了，我们需要的是当我们有任务需要运行的时候。他立刻就能获取资源，然后进行运行。所以我们一般把flink和hadoop k8s yarn一块来..
Flink部署-yarn模式和K8S模式
weixin_52126591的博客
02-29 1647
以Yarn模式部署Flink任务时，要求Flink是有 Hadoop 支持的版本，Hadoop 环境需要保证版本在 2.2 以上，并且集群中安装有 HDFS 服务。Flink提供了两种在yarn上运行的模式，分别为Session-Cluster和Per-Job-Cluster模式。Session-Cluster 模式需要先启动集群，然后再提交作业，接着会向 yarn 申请一块空间后，资源永远保持不变。
从YARN迁移到k8s，滴滴机器学习平台二次开发是这样做的
AI科技大本营
11-30 3621
整理 | 夕颜出品 | AI科技大本营（ID:rgznai100）【导读】人工智能时代，机器学习已经渗透进每个领域，改变了这些领域的业务模式、技术架构以及方法论。随着深度学习技术近年来快...
大模型(LLM)基础Kubernetes环境 构建
最新发布
欢迎来到云逸的博客频道
04-16 780
主要是介绍了 Kubernetes 云原生相关技术在，大模型研发流程里面应用。探讨云原生和大模型的关系。然后提供了一份单机版本的 Kubernetes 的搭建示例，调度 GPU 资源
yarn和k8s(kubernetes)混合部署初步方案（利用cgroup资源限制）
monkeyboy_tech的博客
03-09 3967
版本 yarn 2.6.0 k8s v1.15.2 背景 随着k8s的越来越火热以及k8s的可扩展以及自修复优势，k8s势必是互联网的优势，但是很大一部分公司的资源管理工具依旧是yarn，而且yarn和k8s也必然并行很久一段时间， 但是由于yarn的隔离型相对于k8s来说还是很弱的，好在yarn 2.6.0版本也集成了LinuxContainerExecutor（默认是DefaultContainerExecutor），也就是说yarn在好长一段时间是不支持cpu限制的，LinuxContainerExe
Apache Flink 进阶（四）：Flink on Yarn / K8s 原理剖析及实践
Ververica的博客
10-15 4203
本文根据 Apache Flink 进阶篇系列直播课程整理而成，由阿里巴巴技术专家周凯波（宝牛）分享，主要介绍 Flink on Yarn / K8s 的原理及应用实践，...
yarn原理_Flink on Yarn / K8s 原理剖析及实践
weixin_39665847的博客
11-24 594
本文根据 Apache Flink 进阶篇系列直播课程整理而成，由阿里巴巴技术专家周凯波(宝牛)分享，主要介绍 Flink on Yarn / K8s 的原理及应用实践，文章将从 Flink 架构、Flink on Yarn 原理及实践、Flink on Kubernetes 原理剖析三部分内容进行分享并对 Flink on Yarn/Kubernetes 中存在的部分问题进行了解答。F...
Flink on Yarn_K8S原理剖析及实践.pdf
07-17
Flink可以在YARN（Yet Another Resource Negotiator，另一种资源协调者）或Kubernetes（K8S）这样的分布式集群管理平台上运行，具备良好的集群弹性、资源动态伸缩以及高效的容错能力。 YARN是Hadoop 2.0中的资源...
CI/CD：基于K8s弹性资源池的配置【第二步】编写Pipeline脚本实现自动化
DevOps持续集成的博客
07-08 520
上一篇文章 CI/CD：基于K8s弹性资源池的配置【第一步】自动化创建Jenkins的Agent节点 我们通过运行Jenkins Groovy脚本来增加了一个Jenkins Agent节点。那么现在思考一个问题，弹性构建的实现方式有多种， 如果我们的实现方式是：运行Pipeline作业时启动一个Jenkins Agent 节点，然后作业结束后回收此节点。该如何实现？大概...
Flink on K8s 企业生产化实践
pop_xiaohao的专栏
02-22 2059
背景 为了解决公司模型&特征迭代的系统性问题，提升算法开发与迭代效率，部门立项了特征平台项目。特征平台旨在解决数据存储分散、口径重复、提取复杂、链路过长等问题，在大数据与算法间架起科学桥梁，提供强有力的样本及特征数据支撑。平台从 Hive 、Hbase 、关系型数据库等大数据 ODS ( Operational Data store ) 层进行快速的数据 ETL ，将数据抽取到特征平台进行管理，并统一了数据出口，供数据科学家、数据工程师、机器学习工程师做算法模型的数据测试、训练、推理及其他数据应用
大数据运维实战指南：资源调度框架YARN/K8s深度解析（第四篇）
资深全栈架构师，乐于在 优快云 分享技术见解，与大家携手共进，共攀技术巅峰！
03-10 1134
[9]] 【今晚八点有直播】机器学习场景下Volcano集成调度能力实践[[9]][[6]] 多租户固态盘服务质量保障技术综述 - 计算机研究与发展[[3]]：#YARN #Kubernetes #资源调度 #多租户 #弹性伸缩。[[8]] 弹性伸缩服务中实现资源扩展的方式探究 - 天翼云[[8]][[10]] 大数据离在线混部架构，看完这篇就全明白了！[[7]] 多租户云中面向QoS保障的请求调度优化研究[[7]]调整ResourceQuota。NVIDIA GPU拓扑感知。
YARN 与 K8s 的容器化资 源混部实践
11-10
YARN 与 K8s 的容器化资 源混部实践
flinkcdc on yarn任务迁移到 on k8s 问题
weixin_64431102的博客
06-01 320
flinkcdc版本不一致问题导致程序无法正常从savepoint启动
Spark on Yarn With K8s
南风知我意
08-16 392
Spark on Yarn With K8s
Flink on Yarn/K8s原理剖析及实践
litlit023的专栏
11-19 920
1. Flink整体架构概览 如下为Flink的架构图，用户可以使用4种方式（DataStream、DataSet等）编写flink任务，这些任务逻辑会生成一个JobGraph。 JobGraph由source、map()、keyBy()/window()和slink等算子组成。 当JobGraph提交给Flink集群后，能够以4种模式运行（Local、Yarn等） 2. Flink架构概览之--JobManager JobManager的架构图如下所示，JobManager的主要功能有：
Flink源码流程(Yarn模式，k8s、local 、standalone 后续更新)
代小雨
09-06 174
流程图地址 因为我的流程图画在飞书中的，所以我直接用飞书来共享。 好处是后期我更新，大家是可以直接看到的，希望对大家有帮助。 流程图中把 任务提交 涵盖了 以下 1、客户端 2、JobManager 3、TaskManager 比较适合大家一览的去了解整体源码流程，有一个总体的概念 细节点后面会慢慢开专题，全部来介绍 ...
k8s概念
越自律越自由
07-23 2728
k8s中大部分概念如node/pod等都可以看做资源对象，k8s其实是一个高度自动化的资源控制系统，通过跟踪比对etcd里的资源期望状态和当前环境里的 实际资源状态差异来实现自动控制和自动纠错的高级功能。 在Kubernetes中创建对象时，必须提供描述其所需Status的对象Spec，以及关于对象（如name）的一些基本信息。k8s对象示例必填字段：apiVersion 、kind 、met...
Apache HAWQ 基于 YARN 的弹性资源管理 [作者：金毅］
“大数据社区”博客
11-02 1855
[作者：金毅］ 本文概要介绍 Apache HAWQ 通过 YARN 申请和归还资源的行为。其弹性资源管理功能使得 Apache HAWQ 能够与其它Hadoop应用高效共存，从而达到充分利用Hadoop平台计算资源服务于实际业务需求的目的。
spark on yarn还是spark on k8s
09-04
Spark on Kubernetes（简称Spark on K8s）则是将Spark应用程序部署在Kubernetes容器编排平台上。Kubernetes是一个开源系统，用于自动化部署、扩展和管理容器化应用程序。在K8s上运行Spark可以实现更加灵活和自动化的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值