Spark学习之路——5.Spark UI

最新推荐文章于 2025-01-19 01:27:33 发布
最新推荐文章于 2025-01-19 01:27:33 发布
阅读量451 收藏 2
点赞数 1
CC 4.0 BY-SA版权
分类专栏： # Spark 文章标签： Spark-UI
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/hehe_soft_engineer/article/details/104124268
本文详细解读了Spark UI的各个组件，如Jobs、Stages、Storage等页面的功能，并对比了local、standalone和yarn三种模式下wordcount任务的执行情况及Spark UI展示的差异。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、Spark UI解读

Jobs页面可以看到所有Jobs的执行情况，job的数量取决于action算子的数量。

Stages页面列出所有Stage的执行情况。Spark stage切分是按照宽依赖来区分的，因此粒度上要比job更细一些。

Storage页面显示所做的cache persist等操作。

Environment页面里面展示了当前spark所依赖的环境，比如jdk，lib等等

Executors页面显示executor运行情况，这里可以看到执行者申请使用的内存以及shuffle中input和output的内存等数据。

二、分别用local/standalone/yarn模式运行workcount

1.通过Spark UI来查看执行进度：

①Local模式：

②standalone模式

③yarn模式

2.截取执行成功后输出的结果

①local模式

②standalone模式

③yarn-client模式

Spark UI
qq_27787581的博客
01-12 1836
Spark Web UISpark Web UI实时UI管理JobsJobs DetailStagesStorageStorage DetailEnviromentExecutorSQL历史UI管理 Spark Web UI 分类：1)实时UI管理 2)历史UI管理 实时UI管理 分类：1)Jobs 2)Stages 3)Storage 4)Environment 5)Executors Jobs 作用：展示的是整个Spark应用任务的Job整体信息 特点：Job默认都是串行提交运行的，如果Job间没有依
Spark SQL优化之路——Hive篇
Christopher_L1n的博客
10-31 5254
Spark SQL针对Hive数据源的优化指南。
Spark学习之路 （五）Spark伪分布式安装
weixin_34268310的博客
04-22 217
一、JDK的安装 JDK使用root用户安装 1.1　上传安装包并解压 [root@hadoop1 soft]# tar -zxvf jdk-8u73-linux-x64.tar.gz -C /usr/local/ 1.2　配置环境变量 [root@hadoop1 soft]# vi /etc/profile #JAVA export JAVA_HOME=/usr...
Spark学习之路（五）——Spark on YARN
Rong_Robot的博客
09-22 393
1、Spark on YARN： Spark在YARN上运行时，有两种部署模式：集群模式（Cluster）和客户端模式（Client）。 2、不同运行模式中的任务调度器具体为： Spark on Standalone模式：TaskScheduler YARN-Client模式：YarnClientClusterScheduler YARN-Cluster模式：YarnClusterSchedule...
20天学习Spark（1）之Spark UI的使用
洒家
09-13 2856
Spark UI的使用方式
Spark UI的见解
最佳 Java 编程
06-11 249
作为延续解剖的-Apache的火花的工作后，我将分享如何利用星火UI调谐工作。 我将继续使用先前文章中使用的相同示例，新的spark应用程序将在以下方面完成工作 –阅读纽约市停车票 –通过“板ID”进行汇总并计算违规日期 –保存结果 此代码的DAG看起来像这样 这是多阶段的工作，因此需要一些数据混洗，因为此示例混洗写入为564mb，输出为461MB。 让我们看看...
手把手带你了解Spark作业“体检报告” --Spark UI
小小马里奥的博客
01-12 2841
手把手带你了解Spark作业“体检报告” --Spark UISpark UI 一级入口ExecutorsEnvironmentStorageSQLJobsStages总结扩展Spark UI 二级入口SQL 详情页ExchangeSortAggregateJobs 详情页Stages 详情页Stage DAGEvent TimelineTask MetricsSummary MetricsTasks Spark UI 一级入口       &nb
Spark性能优化指南——高级篇
07-27
可以通过查看日志或使用Spark Web UI来跟踪。在确定了stage之后，可以通过源码理解stage的划分原理，从而找到对应代码段中可能导致数据倾斜的shuffle类算子。 当发现数据倾斜时，可以采取多种技术方案进行调优。...
Spark修炼之道——Spark学习路线、课程大纲
热门推荐
摇摆少年梦的技术博客
08-19 2万+
课程内容 Spark修炼之道（基础篇）——Linux基础（15讲）、Akka分布式编程（8讲） Spark修炼之道（进阶篇）——Spark入门到精通（30讲） Spark修炼之道（实战篇）——Spark应用开发实战篇（20讲） Spark修炼之道（高级篇）——Spark源码解析（50讲） 部分内容会在实际编写时动态调整，或补充、或删除。Spark修炼之道（基础篇）——Linux大数据开发基础（15讲
Spark2.1.0——SparkUI的实现
beliefer的博客
11-20 4207
任何系统都需要提供监控功能，否则在运行期间发生一些异常时，我们将会束手无策。也许有人说，可以增加日志来解决这个问题。日志只能解决你的程序逻辑在运行期的监控，进而发现Bug，以及提供对业务有帮助的调试信息。当你的JVM进程奔溃或者程序响应速度很慢时，这些日志将毫无用处。好在JVM提供了jstat、jstack、jinfo、jmap、jhat等工具帮助我们分析，更有VisualVM的可视化界面以更加直...
spark基本原理&UI界面解读
qq_43123615的博客
03-16 3178
一级入口重点内容executors不同executors之间，是否存在负载倾斜不同executors之间，是否存在负载倾斜storage分布式数据集的缓存级别，内存，磁盘缓存比例SQL初步了解不同执行计划的执行时间，确实是否符合预期jobs初步感知不同jobs的执行时间，确实是否符合预期stage初步感知不同stage的执行时间，确实是否符合预期记录了以action为粒度，记录了每个action作业的情况。
SparkUI 讲解
fanghailiang2016的博客
04-17 2030
在日常的开发工作中，我们总会遇到 Spark 应用运行失败、或是执行效率未达预期的情况。对于这类问题，想找到根本原因（Root Cause），我们往往需要依赖 Spark UI 来获取最直接、最直观的线索。
Spark的UI优化详解
我的博客
08-26 794
集群环境 集群环境可以看到集群一个有280G内存，120核数，5个节点 spark-submit -- 启动命令含义： spark-submit class cn.dmp.tools.Bzip2Parquet \类的main方法所在类 --master yarn --deploy-mode cluster \ 运行模式 --driver-me...
Spark性能优化之SparkUI
敏叔
05-02 3368
SparkUI其实信息量非常大，而且是需要不断去加深理解Spark内容才能理解内容的，涉及到作业优化，找原因才是最关键，而对于Spark作业来说读懂Sparkui的信息，更加是关键中的关键。
sparkUI+spark参数
我的博客
01-07 432
spark基本原理&amp；UI界面解读_spark ui
最新发布
2501_90229252的博客
01-19 703
一级入口重点内容executors不同executors之间，是否存在负载倾斜不同executors之间，是否存在负载倾斜storage分布式数据集的缓存级别，内存，磁盘缓存比例SQL初步了解不同执行计划的执行时间，确实是否符合预期jobs初步感知不同jobs的执行时间，确实是否符合预期stage初步感知不同stage的执行时间，确实是否符合预期记录了以action为粒度，记录了每个action作业的情况。
（三）5：spark UI详解
weixin_43930865的博客
09-21 6877
spark UI详解 清楚的理解spark UI 的各个阶段有助于进行调优和分析定位问题 如何访问：默认ip:8088，在程序启动时也可看到日志中的UI访问地址 1：UI界面 导航栏部分主要分为7大部分 1：job级别的任务执行记录，可看到具体的executor和task执行时间 2：所有stage，stage是按照宽依赖来区分的，因此粒度上要比job更细一些 3 ：storage页面，我们所做的cache persist等操作，都会在这里看到，可以看出来应用目前使用了多少缓存 4： 代表environm
spark ui 指南
liuxiaoer1的专栏
10-01 3379
注意看到stage 19-24 是 跳过了, 原因是spark shuffle 的数据会写到磁盘固化,当上游当上游stage(19-24)和之前执行过的stage 相同时,可以直接用之前的结果.正在运行中的任务有 thread dump ,跟踪task 的执行过程, 目前只能点开 driver 的节点, executor 节点 点击不开.每个状态的stage 数量 (active, pending, completed, skipped, failed)
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值