spark-yarn查看集群资源

最新推荐文章于 2024-11-06 19:57:28 发布
最新推荐文章于 2024-11-06 19:57:28 发布
阅读量1w 收藏 5
点赞数 2
CC 4.0 BY-SA版权
分类专栏： # spark 文章标签： spark yarn 资源 分配资源 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_33982605/article/details/79946699
本文介绍了通过spark-submit命令提交任务后的Job状态监控情况，包括已提交、正在运行及已完成的Job数量，同时展示了资源使用情况，如启动的容器个数、使用的CPU数量、分配的内存等。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

    spark-submit --master yarn --deploy-mode cluster --executor-cores 4 --num-executors 3 --executor-memory 10g --class solr.CeShi sbt-solr-assembly08.jar


Apps Submitted：总共提交了多少个JOb(122)

Apps Running：当前运行的job有多少个(3)

Apps Completed：当前提交完成的job有多少个。(119)

Containers Running:启动的容器个数(每个容器默认一个CPU)即，启动4个CPU默认就提供4个容器

 

VCores Used:使用了多少个CPU(6)

VCores Total:总共有多少个CPU(120)

Active Nodes:集群总共有多少个节点(5)

Allocated Memory MB:分配了多少内存（10G多点）

Allocated CPU VCores:分配了多少个CPU（4）

Running Contaniers:运行了多少个容器(4)




【yarn】yarn 命令行查看 资源状态
九师兄
01-11 1万+
这个命令句就可以 , 查看集群的资源情况 , 包括正在使用的情况.如何通过shell 命令或脚本查看剩余的 cpu核心数 和内存。本次是因为yarn界面现场不给开放一个任务总是说资源不足。
Spark基础（1）——搭建Spark开发环境、UI界面查看spark集群
weixin_54348877的博客
03-24 7296
1.环境前提 1.1已经搭建好hadoop环境 Hadoop环境部署，参考我专栏里Hadoop专栏 1.2我的参考配置环境 Linux系统：CentOS-6.8版本 Hadoop：2.7.4版本 JDK：1.8版本 Spark：2.3.2版本 2.Spark部署 Standalone模式（主从） 2.1下载spark安装包 安装包下载网址： ​​​​​​Downloads | Apache Spark 标1：现在比较稳定的版本为3.2.1。和支持的Hadoop版本 标2、标3：.
【大数据】spark Yarn的使用（9） - 资源配置查看
思南的博客
08-24 761
方式一： 方式二： 方式三： Yarn的实际资源 通过container，可以设置Yarn的最小、最大内存，一般根据现有的集群资源来分配代码资源——内存和CPU核数 举个例子：假设集群中有100G可用内存，20个可用CPU核，则可设置参数如下，尽最大化使用集群资源，提高运行效率 num-executors=10,executor-cores=2,executor-memory=10 ...
YARN监控管理与资源管理
qq_46439199的博客
11-14 2113
YARN监控管理与资源管理
8，spark on yarn ，任务提交 ，spark-shell ，查看集群资源 ，分区实验
孙砚秋的博客
10-03 1274
一 ，spark on yarn ： 1 ，spark 概念 ： Driver：和 ClusterManager 通信，进行资源申请、任务分配并监督其运行状况等。 ClusterManager ：这里指 YARN。 DAGScheduler ：把 spark 作业转换成 Stage 的 DAG 图。 TaskScheduler ：把 Task 分配给具体的 Executor。 2 ，yarn ...
Hadoop(3)-Yarn集群
知行合一，止于至善
08-09 1545
一、Yarn简介Yarn是Hadoop集群的资源管理系统。Hadoop2.0对MapReduce框架做了彻底的设计重构，我们称Hadoop2.0中的MapReduce为MRv2或者Yarn。在介绍Yarn之前，我们先回头看一下Hadoop1.x对MapReduce job的调度管理方式（可参考：Hadoop核心之MapReduce架构设计），它主要包括两部分功能： 1. ResourceManag
Yarn基本架构
dingqiu6346的博客
09-14 274
ResourceManager ResourceManager 通常在独立的机器上以后台进程的形式运行，它是整个集群资源的主要协调者和管理者。ResourceManager 负责给用户提交的所有应用程序分配资源，它根据应用程序优先级、队列容量、ACLs、数据位置等信息，做出决策，然后以共享的、安全的、多租户的方式制定分配策略，调度集群资源。 NodeManager NodeMa...
Spark-client，Spark-yarn模式
pxqwater的博客
03-04 1412
Spark运行模式
spark资源 spark-2.3.2-bin-hadoop2.7 tgz文件
10-21
同时，该压缩包可能包含了所有必要的二进制文件、库和Spark应用程序所需的其他资源，因此它可以被解压缩到集群中的任何机器上，并立即开始使用。 在安装和部署Spark时，用户需要从压缩包中提取文件，并根据操作系统...
Spark on YARN：Spark集群模式之Yarn模式的原理、搭建与实践
最新发布
天冬忘忧的博客
11-06 2280
本文将深入探讨为什么要将 Spark 程序运行在 YARN 上而不是 Spark 自带的 Standalone 集群上，详细介绍 Spark 的 YARN 集群搭建过程，以及在 YARN 模式下不同 deploy mode 的区别，并结合实际测试案例，帮助读者全面理解 Spark on YARN 这一重要的大数据技术应用。
(word完整版)windows下非submit-方式运行spark-on-yarn(CDH集群).doc
10-24
- 编写Spark程序，使用`sparkConf`和`sparkContext`等API连接到CDH集群的YARN资源管理器。 - 在IDEA中，可以通过配置远程运行或调试配置，指定YARN的运行参数，如主类、JAR包位置、YARN配置等，然后直接在IDEA中...
spark-3.1.3-bin-hadoop3.2.tgz
05-19
5. 集成与兼容性：预编译的Hadoop 3.2版本意味着Spark 3.1.3可以更好地与Hadoop生态系统中的其他组件（如HDFS、YARN）协同工作，提供更广泛的数据源支持。 6. 开发者工具：Spark提供了一个强大的交互式命令行界面...
Yarn 的虚拟内存是什么意思
h952520296的博客
02-04 1594
Hadoop YARN同时支持内存和CPU两种资源的调度,默认只支持内存，如果想进一步调度CPU，需要自己进行一些配置。 目前的CPU被划分成虚拟CPU（CPU virtual Core），这里的虚拟CPU是YARN自己引入的概念，初衷是，考虑到不同节点的CPU性能可能不同，每个CPU具有的计算能力也是不一样的，比如某个物理CPU的计算能力可能是另外一个物理CPU的2倍，这时候，你可以通过为第一个物理CPU多配置几个虚拟CPU弥补这种差异。用户提交作业时，可以指定每个任务需要的虚拟CPU个数。 内存资.
Spark集群搭建超详细教程
笑看风云路的博客
05-19 1万+
前言 在上一篇文章《Hadoop集群搭建配置教程》中详细介绍了Hadoop集群搭建的全部过程，今天为大家带来分布式计算引擎Spark集群搭建，还是使用三个虚拟机节点上进行安装部署，围绕Standalone模式和Yarn模式的这两种部署模式进行展开。 集群搭建具体步骤 注意：以下步骤均在hadoop1节点上进行操作，特殊说明除外！ Standalone模式 1、下载spark-3.0.0的jar包 下载地址： https://archive.apache.org/dist/spark/spark-3.0.
CDH集群调优：内存、Vcores和DRF
weixin_33889665的博客
03-23 477
吐槽 最近“闲”来无事，通过CM把vcores使用情况调出来看了一眼，发现不论集群中有多少个任务在跑，已分配的VCores始终不会超过120。而集群的可用Vcores是360（15台机器×24虚拟核）。这就相当于CPU资源只用到了1/3，作为一个半强迫症患者绝对不能容忍这样的事情发生。 分析的过程不表，其实很...
从Container内存监控限制到CPU使用率限制方案
热门推荐
走在前往架构师的路上
12-13 39万+
前言最近在运维我们部门的hadoop集群时,发现了很多Job OOM的现象,因为在机器上可以用命令进行查看,full gc比较严重.我们都知道,full gc带来的后果是比较大的,会"stop the world"的,一旦你的full gc elapsed time超过几分钟,那么其他的活动都得暂停这么多时间.所以Full gc一旦出现并且异常,一定要找到根源并将其解决.本篇文章就为大家讲述一下我
Spark On Yarn中Yarn分配资源的时候vcore怎么理解
昨天感冒了的博客
03-14 6152
Yarn在Spark On Yarn或者其他场景任何需要用到Yarn来提供计算资源的场景中为什么要用vcore这个概念代替physical core来分配cpu core的数量？ 这是因为集群中可能不是所有的机器都是同一种规格的，有的cpu处理能力强，有的弱。假设性能强的一个physical core计算能力相当于弱的3倍，这个时候，可以指定处理能力强的那个cpu一个physical core为...
YARN的Memory和CPU调优配置详解
Noisy Fish的博客
01-04 1335
Hadoop YARN同时支持内存和CPU两种资源的调度，本文介绍如何配置YARN对内存和CPU的使用。 YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位，具有一定的内存以及CPU资源。 在YARN集群中，平衡内存、CPU、磁盘的资源的很重要的，根据经验，每...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值