Spark On Yarn中Yarn分配资源的时候vcore怎么理解

最新推荐文章于 2024-06-25 10:17:08 发布
原创 最新推荐文章于 2024-06-25 10:17:08 发布 · 6.1k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Spark On Yarn #vcore #Yarn

本文深入探讨了Yarn中使用vcore而非physicalcore分配CPU资源的原因，旨在实现不同性能节点间的负载均衡，合理优化集群资源。通过将计算能力强的节点的physicalcore等效为多个vcore，达到灵活调度的目的。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Yarn在Spark On Yarn或者其他场景任何需要用到Yarn来提供计算资源的场景中为什么要用vcore这个概念代替physical core来分配cpu core的数量？

这是因为集群中可能不是所有的机器都是同一种规格的，有的cpu处理能力强，有的弱。假设性能强的一个physical core计算能力相当于弱的3倍，这个时候，可以指定处理能力强的那个cpu一个physical core为3个vcore，而弱的一个physical core为1个vcore，分配资源的如果需要提供6个vcore，那计算能力强的那个只需要提供2个physical core即可，达到了负载均衡的效果，更加合理的利用了资源。

Spark on yarn使vcores可以使用多个生效（已解决）
lukabruce的博客
07-08 912
yarn 默认情况下，只根据内存调度资源，所以 spark on yarn 运行的时候，即使通过–executor-cores 指定 core 个数为 N，但是在 yarn 的资源管理页面上看到使用的 vcore 个数还是 1
关于 Spark on Yarn 的资源分配与 Capacity Scheduler 的研究
Laurence的技术博客
06-18 3366
文章目录1.启用CapacityScheduler2.集群信息与配置2.1.yarn.nodemanager.resource.xxx2.2.yarn.scheduler.minimum/maximum-xxxx3.SparkonYarn的内存模型4.user-limit-factor：单用户时提升资源利用率的重要因子5.规整化因子6.测试队列资源划分方案7.测试计划7.1.用例一7.2.用例二7.3.用例三7.2.用例四8.小结 资源调度永远是一个对立统一的问题，在一个限
Yarn的调度器与vcore
Jaserok的博客
10-21 2510
1.调度器 1.FIFO 先进先出 2.Capacity 计算 3、Fair 公平 （ 生产） 2.core 与vcore YARN自己引入的概念vcore以区别不同性能的物理coer
hadoop的yarn容器、内存、vcore设计
xwcj3的博客
12-14 3393
一、container容器 容器 虚拟化的 维度 memory+vcore 运行task任务 生产如何调优Container参数？ 假设128G 16物理core 1.1装完CentOS，消耗内存1G 1.2系统预览15%-20%内存(包含1.1)， 以防全部使用导致系统夯住 和 oom机制事件， 或者给未来部署组件预览点空间 128*20%=25.6G ==26G 1.3假设只有DN NM节点，...
yarn 显示 vcores、memory 机制
zhm1002的博客
12-23 4195
以spark 提交 任务为例： yarn作为cluster manager时，spark（以client模式为例）用spark-submit提交应用程序（或者是spark-shell交互操作）不加任何资源参数时，会使用如下几个默认配置来向yarn的resourcemanager申请container资源： spark.executor.memory 1gspark.executor.cores 1spark.executor.instances 2spark.yarn.am...
为什么我的 Spark Executor / Yarn Container 只有一个vCore?
Laurence的技术博客
08-17 564
在很多集群里，在关闭了Spark的DynamicAllocation的前提下（避免自动申请空闲资源，干扰测试结果），都会观察到：提交Spark作业时，申请 1 个 driver + n 个 executor 会在Yarn上会对应创建 n+1 个 container，但是每个container只有一个vCore，通过--driver-cores和--executor-cores设定的vCore数都未奏效。有人会因此错误的认为Yarn上的一个vCore对应一个Spark的executor，这是非常错误的，正确的
为什么 Spark UI 上显示的 Executor Cores 与 Yarn 上的 vCore 数量不符？
Laurence的技术博客
08-24 576
你可能会在自己的集群上观察到：Spark UI 上显示的 Executor Cores 与 Yarn 上的 vCore 数量是不符的，本文将会给出详细解释。本文和《为什么我的集群一个 Spark Executor / Yarn Container 只有一个vCore?》一文有比较密切的关系，建议先阅读一下此文，本文可以看作是这篇文章的“补充”，因为原文只讨论了Yarn上的情况，并没有Spark UI和本地实际资源分配的讨论和验证！
Spark之Core高级知识分享三(Spark on yarn)
君永夜
05-17 973
1.YARN产生背景 生产中spark作业几乎都是跑在yarn上，不用Standalone，因为集群中可能有MR、Spark、MPI等各类作业，若跑在各自的资源调度框架上，那么整体集群的资源利用率肯定是有问题的。 为了统一作业调度以及资源管理，yarn就诞生了，当前YARN能支持所有主流作业的资源管理和作业调度（batch、交互式、online、strem、in-memory、机器学习、图计算等框...
Spark On Yarn 提交后VCore显示错误
weixin_44455388的博客
09-21 2210
yarn8088UI界面VCore Total原本显示共有120个，今天将spark任务提交到yarn执行后发现，VCore的数据变成了26个。 提交命令: ./bin/spark-submit \ --class com.jyn.secondtime.Seconds \ --master yarn \ --deploy-mode cluster \ --driver-memo...
Yarn 的虚拟内存是什么意思
h952520296的博客
02-04 1594
Hadoop YARN同时支持内存和CPU两种资源的调度,默认只支持内存，如果想进一步调度CPU，需要自己进行一些配置。 目前的CPU被划分成虚拟CPU（CPU virtual Core），这里的虚拟CPU是YARN自己引入的概念，初衷是，考虑到不同节点的CPU性能可能不同，每个CPU具有的计算能力也是不一样的，比如某个物理CPU的计算能力可能是另外一个物理CPU的2倍，这时候，你可以通过为第一个物理CPU多配置几个虚拟CPU弥补这种差异。用户提交作业时，可以指定每个任务需要的虚拟CPU个数。 内存资.
yarn集群上内存和cpu调优和设置
weixin_33811539的博客
06-08 687
为什么80%的码农都做不了架构师？>>> ...
彻底搞明白YARN资源分配
m0_46168848的博客
07-28 3183
Container是以什么形式运行的？是单独的JVM进程吗？是的，每一个Container就是一个单独的JVM进程。YARN的vcore和本机的CPU核数关系？没关系。默认都是手动在yarn-default.xml中配置的，默认每个NodeManager是8个vcore，所有的NodeManager上的vcore加在一起就是整个YARN所有的vcore。每个Container能够使用的物理内存和虚拟内存是多少？
Flink性能优化小结
MDZ_1122333322的博客
01-10 2012
可以通过开启缓冲消胀机制来简化 Flink 网络的内存配置调整。您也可能需要调整它。如果这不起作用，您可以关闭缓冲消胀机制并且人工地配置内存段的大小和缓冲区个数。针对第二种场景，我们推荐：使用默认值以获得最大吞吐减少内存段大小、独占缓冲区的数量来加快 checkpoint 并减少网络栈消耗的内存量。
大数据最佳实践-yarn
program哲学
04-22 1149
目录yarn预热参数调优抢占任务调度策略 yarn预热 在开始新会话之后提交第一个查询时，您可能会遇到稍长的延迟，然后才能看到查询开始。您可能还会注意到，如果再次运行相同的查询，它的完成速度将比第一个查询快得多。 Spark执行者需要额外的时间来启动和初始化YARN群集上的Spark，这会导致更长的延迟。另外，Spark在开始作业之前不会等待所有执行者准备就绪，因此在将作业提交到集群后，某些执行者可能仍在启动。但是，对于在Spark上运行的作业，提交作业时可用执行程序的数量部分决定了减速器的数量。当准备好的
Hadoop 教程 - Yarn核心参数配置案例
qq_33240556的博客
06-25 670
在Hadoop YARN的生产环境中，合理配置核心参数对于优化资源管理、提升作业执行效率和保障集群稳定性至关重要。
yarn资源调优参数&yarn的调度器&yarn的常用命令
缘字诀的博客
12-14 1227
yarn资源调优参数 概念介绍 container 是一个虚拟化的容器，包括memory和vcore两个维度，作用是运行appmaster和task任务 物理核pcore 服务器上实际的物理CPU的核数 虚拟核vcore yarn引入的一个概念，设计的初衷是考虑到每台服务器的性能不一样，比如某一个物理CPU是另一个物理CPU的两倍，通过设置pcore和vcore来弥补这种差距 比如第一台机器CP...
YARN的调优参数
qq_41301707的博客
12-14 946
YARN的调优参数 一.Container概念 Container我个人理解成一块虚拟的空间，是由menory和vcore一起组成的 vcore这个概念是由yarn提出来的，为了防止在一个集群里面的各个机器的core性能不一致才提出这个概念，这指的是一个虚拟化的core，如果在同一个集群里面一台机器的CPU处理性能很好...
Yarn知识总结
x6x6x6x的博客
12-16 404
一、yarn的核心 RM（resource manager）的职责： 1.除了客户端的请求，接受JobSubmitter提交的作业（按照作业的上下文（Context））信息run.sh提交的参数，以及从NM（nodemanager）收集来的状态信息），启动调度过程，分配一个container作为APP master 2.RM作为中心服务，拥有系统中所有应用的资源分配决定权，其工作是调度、启动每一个...
如何在docker上部署hdfs zookeeper yarn spark集群
最新发布
07-17
<think>嗯，用户问的是如何在Docker上部署HDFS、ZooKeeper、YARN和Spark集群。这个问题看起来有点复杂，但让我一步步来理清楚思路。首先，我需要确认用户的需求。他们可能想要一个本地的测试环境，或者是一个开发用的小型集群，所以使用Docker来简化部署流程是合理的。 接下来，我得考虑各个组件之间的依赖关系。HDFS是Hadoop的核心，ZooKeeper用于协调，YARN负责资源管理，而Spark则运行在YARN之上。所以部署顺序应该是先HDFS和ZooKeeper，然后YARN，最后Spark。 然后，我需要确定是否使用现有的Docker镜像还是自己构建。可能社区已经有一些预配置好的镜像，比如sequenceiq/hadoop-docker，这样可以省去很多配置步骤。不过用户可能需要自定义配置，比如修改core-site.xml等文件，这时候可能需要自定义Dockerfile。 网络配置也是一个关键点。所有容器需要互相通信，所以使用Docker自定义网络比较合适，通过--network参数指定，确保每个容器都能通过主机名解析到其他容器。 数据持久化方面，HDFS的数据需要持久化，否则容器停止后数据会丢失。所以需要挂载volume，比如使用-v参数将本地目录挂载到容器的/data目录。 对于ZooKeeper，单节点可能不够可靠，但如果是测试环境的话可以接受。如果是生产环境可能需要多个节点，但用户的问题可能更偏向于测试用途。 YARN的配置需要指向HDFS和ZooKeeper，所以需要确保在启动YARN容器时，配置文件中正确设置了HDFS的地址和ZooKeeper的连接字符串。 Spark运行在YARN上，所以需要配置SPARK_HOME，并且在提交作业时指定yarn作为master。可能还需要将Spark的安装包放在每个节点上，或者通过共享存储挂载。 另外，可能需要处理端口映射，比如HDFS的50070，YARN的8088，Spark的8080等，方便用户访问Web界面进行监控。 还需要考虑容器的启动顺序，确保HDFS和ZooKeeper先启动，再启动YARN，最后启动Spark。可能需要使用docker-compose来编排服务，这样可以一键启动所有服务，并定义依赖关系。 可能遇到的问题包括容器间的网络不通，配置文件中的主机名错误，端口没有正确映射，或者数据卷权限问题。需要提醒用户检查这些点，比如使用docker network inspect查看网络配置，或者进入容器内部检查配置文件。 总结下来，步骤大致是：创建Docker网络，启动HDFS和ZooKeeper容器，配置YARN并启动，然后配置Spark以使用YARN作为资源管理器，最后测试集群是否正常工作。可能还需要给出示例的docker-compose.yml文件和配置文件的修改示例，帮助用户更好地理解如何操作。 </think>在Docker上部署HDFS、ZooKeeper、YARN和Spark集群的步骤如下： ### 1. 创建Docker网络 ```bash docker network create hadoop-network ``` ### 2. 部署ZooKeeper ```bash docker run -d \ --name zookeeper \ --network hadoop-network \ -p 2181:2181 \ zookeeper:latest ``` ### 3. 部署HDFS（使用Hadoop镜像） ```bash docker run -d \ --name hadoop-master \ --network hadoop-network \ -p 9000:9000 -p 50070:50070 \ -e "CLUSTER_NAME=hadoop-cluster" \ -e "HDFS_CONF_dfs_replication=1" \ bde2020/hadoop-base:latest ``` ### 4. 部署YARN ```bash docker run -d \ --name yarn-master \ --network hadoop-network \ -p 8088:8088 \ -e "HADOOP_MASTER=hadoop-master" \ bde2020/hadoop-yarn:latest ``` ### 5. 部署Spark（基于YARN模式） ```bash docker run -d \ --name spark-worker \ --network hadoop-network \ -p 8080:8080 \ -e "SPARK_MASTER=yarn" \ -e "HADOOP_MASTER=hadoop-master" \ bde2020/spark:latest ``` ### 6. 验证集群状态 - **HDFS Web UI**: `http://localhost:50070` - **YARN Web UI**: `http://localhost:8088` - **Spark Web UI**: `http://localhost:8080` ### 7. 提交Spark作业示例 ```bash docker exec -it spark-worker spark-submit \ --master yarn \ --deploy-mode cluster \ /path/to/your-application.jar ``` --- ### 注意事项 1. **配置文件同步**：需确保所有容器的`core-site.xml`、`hdfs-site.xml`、`yarn-site.xml`配置一致。 2. **数据持久化**：通过`-v /宿主机/目录:/容器目录`实现HDFS/YARN数据持久化。 3. **资源限制**：根据硬件性能调整`yarn-site.xml`中的内存和CPU参数。 4. **多节点扩展**：可通过Docker Compose或Kubernetes实现多节点集群。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值