spark UI 显示已完成应用的历史信息

最新推荐文章于 2025-05-07 14:30:23 发布
原创 最新推荐文章于 2025-05-07 14:30:23 发布 · 988 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark

本文介绍如何配置Spark历史服务器以记录并展示Spark应用的历史信息。主要包括创建存放历史文件的HDFS目录、配置spark-env.sh和spark-defaults.conf文件、启动spark-history-server等步骤。

1，在HDFS 上创建放历史文件的目录

2，配置spark-env.sh的SPARK_HISTORY_OPTS=“-Dspark.eventLog.dir=第一步创建的目录”

3，配置spark-defaults.conf 的spark.eventLog.enabled=true，spark.eventLog.dir=第一步创建的目录，spark.eventLog.compress=true

4，启动spark-history-server  sbin/start-history-server.sh 第一步创建的目录.


saprk应用未执行sc.stop 程序不会结束，历史信息也不会写入。

Spark在保险业风险评估中的大数据应用
AI天才研究院
05-09 989
随着保险行业数据量的爆发式增长（年均数据增速超40%），传统风险评估方法在处理PB级结构化（保单数据、理赔记录）与非结构化数据（图像、文本、传感器数据）时面临效率瓶颈。本文聚焦Spark分布式计算框架，解析其在保险风险评估中的数据清洗、特征工程、模型训练及实时推理等核心环节，覆盖财产险、健康险、车险等主要险种的风控场景，提供从技术原理到工程实践的完整解决方案。
【DolphinScheduler】spark任务执行成功,状态却显示失败问题
hyj
11-01 2743
1、问题描述 在ds上执行运行一个spark任务，yarn显示成功运行并有正常输出，但是ds的页面反馈为失败。 页面显示： worker节点日志显示： [ERROR] 2021-11-01 10:31:53.418 org.apache.dolphinscheduler.common.utils.HttpUtils:[73] - Connect to 192.168.xxx.xx3:8088 [/192.168.xxx.xx3] failed: 拒绝连接 (Connection refused
spark运维监控：查看历史作业的webUI
u013164612的专栏
11-29 1737
1、停止集群 2、配置spark-env.sh export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=50 -Dspark.history.fs.logDirectory=hdfs://centos-5:9001/spark-event" 3、重启集群 4、...
170、Spark运维管理进阶之作业监控启动HistoryServer查看历史作业的Web UI
ZJ__ZFH的博客
02-02 853
默认情况下，一个作业运行完成之后，就再也无法看到其web ui以及执行信息了，在生产环境中，这对调试以及故障定位有影响。 如果要在作业执行完之后，还能看到其web ui，那么必须将作业的spark.eventLog.enabled属性设置为true，这个属性会告诉spark去记录该作业的所有要在web ui上展示的事件以及信息。 如果spark记录下了一个作业生命周期内的所有事件，那么就会在该...
Ambari上spark2.1.1的Spark History ServerUI无法显示appliation信息（已解决）
chbxw
11-09 1835
配置spark-default.conf如下 spark.driver.extraLibraryPath /usr/hdp/current/hadoop-client/lib/native:/usr/hdp/current/hadoop-client/lib/native/Linux-amd64-64 spark.eventLog.dir hdfs:///spark2-history/ spar...
sparklinux服务器日志信息,启动 Spark 历史记录服务器 - AWS Glue
weixin_36290719的博客
08-06 477
本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。启动 Spark 历史记录服务器您可以使用在 EC2 实例上托管服务器的 AWS CloudFormation 模板启动 Spark 历史记录服务器，也可以使用 Docker 在本地启动 Spark历史记录服务器。使用 AWS CloudFormation 启动 Spark 历史记录服务器并查看 Spark UI您可以使用...
spark写s3出现task结束而yarn管理UI不终止的情形
u014763678的博客
09-16 902
问题： 最近项目需要使用spark往s3写数据，在编写好代码后通过yarn cluster模式运行spark任务，在UI上监控程序运行情况，发现UI上task都结束后，spark仍然处于running状态，持续了十几分钟后才终止。 起初以为是编写的多线程没有正确shutdown问题，或者是由于s3的check机制导致的。最后发现都不是这两种原因导致的。 导致问题的原因： 导致问题的原因是s3中的文件重命名操作是由复制操作加上删除操作组成的，等等，这跟s3文件重命名有什么关系？？ 哈哈，...
Spark UI
qq_27787581的博客
01-12 1863
Spark Web UISpark Web UI实时UI管理JobsJobs DetailStagesStorageStorage DetailEnviromentExecutorSQL历史UI管理 Spark Web UI 分类：1)实时UI管理 2)历史UI管理 实时UI管理 分类：1)Jobs 2)Stages 3)Storage 4)Environment 5)Executors Jobs 作用：展示的是整个Spark应用任务的Job整体信息 特点：Job默认都是串行提交运行的，如果Job间没有依
客户环境没办法查看Spark UI页面，怎么办？让我们来使用Spark REST API查看作业信息吧！
枫夜
03-15 1441
场景 通过跳转机才能访问到spark集群的机器； 想定制属于自己公司的spark监控界面 环境 CDH 5.13 Spark 1.6 IP关系 IP类型 作用 运行过程中，提示出现的链接，如：http://localhost:4040 监控运行过程中的应用 spark.yarn.historyServer.address 监控已经结束的应用情况 使用步骤 获取spa...
Spark在大数据ETL中的应用：数据清洗与转换实战
AI天才研究院
05-07 1404
随着企业数据量呈指数级增长（IDC预测2025年全球数据量将达175ZB），传统ETL工具（如Kettle、Informatica）在处理PB级数据时面临计算效率低、扩展性差等瓶颈。Spark凭借内存计算、分布式架构和对结构化/非结构化数据的统一处理能力，成为大数据ETL的事实标准。本文聚焦Spark在数据清洗（Data Cleaning）与转换（Data Transformation）阶段的核心应用，覆盖从基础操作到复杂业务规则的全场景。核心概念：明确ETL与Spark的技术关联。
大数据领域Spark在交通运输行业的数据分析应用
AI天才研究院
04-21 1059
在当今大数据时代，交通运输行业每天都会产生海量的数据，如车辆行驶轨迹、交通流量、乘客出行信息等。对这些数据进行有效的分析和挖掘，能够为交通运输的规划、管理和运营提供有力的支持，从而提高交通运输的效率、安全性和服务质量。Spark作为一款强大的大数据处理框架，具有高效、快速、可扩展等特点，能够很好地应对交通运输行业大数据的处理和分析需求。本文的目的就是深入探讨Spark在交通运输行业数据分析中的应用，包括其核心原理、算法实现、实际案例等，为相关从业者提供技术参考和实践指导。
spark的日志监控(WEB UI 和history server)
zeng6325998的博客
03-25 3226
背景 当我们在跑一个spark任务的时候，如果碰到数据倾斜或者我们想去看下运行参数或者具体的运行情况，这时候我们就需要一个可视化的日志页面，去监控spark的运行。 (注明:大部分知识点是从官方文档翻译，少部分是自己测试，或者在实际项目中的总结。) 官方文档地址:https://spark.apache.org/docs/latest/monitoring.html 1、spark UI 默认情况...
Spark history UI历史监控构建
fct2001140269的博客
06-18 1179
typora-copy-images-to: …\typora-picture Spark history UI历史监控构建 created by fangchangtan | 20200609 1 构建历史spark ui回放功能的目的 ​ spark steaming运行过程中，如果spark streamming程序异常终止，则spark ui后台线程立即消失，导致后期追踪恢复spark问题现场困难，此时只能通过spark的日志来发现问题，但是spark的日志本身保存时间短（2天），日志中可.
22.Spark不能查看到历史作业分析
大勇若怯任卷舒
07-12 546
22.1 问题情况 Spark的HistoryServer能正常查看之前的历史作业日志，但新提交的作业在执行完成后未能在HistoryServer页面查看。 分别使用root和ec2-user用户执行作业 通过sparkHistory Server可以正常查看到所有历史作业 将/user/spark/applicationHistory目录的所属组修改为supergroup，再次执行作业 sudo –u hdfs hadoop dfs –chown spark:supergroup /user/s
spark任务一直卡住，问题分析、解决
spark_dev的博客
04-08 9325
项目场景： spark运行中，job一直在执行中，运行过程中会有hdfs, db的交互 问题描述： 有个同学跟我反映问题，spark运行中，job一直在执行中，executor,driver都在跑，没有任何异常， 正常是很快跑完，但跑10min都动不动，很奇怪，让我帮忙看看 原因分析： 碰到问题，处理问题思路： 1.先确定driver,executor是否正常，从页面看，是正常 2.看看任务在做什么，看看executor的task在干忙什么，通过executor tab把正常运行任务的task对应e
Running Spark on YARN
每天进步一点点
04-25 663
在YARN上启动Spark确保HADOOP_CONF_DIR或YARN_CONF_DIR指向包含Hadoop集群的（客户端）配置文件的目录。这些配置被用来写入HDFS并连接到YARN ResourceManager。此目录中包含的配置将分发到YARN集群，以便应用程序实用的所有容器都使用相同的配置。如果配置引用了不受YARN管理的Java系统属性或者环境变量，那么也应该在Spark应用程序的配置（d
（三）5：spark UI详解
weixin_43930865的博客
09-21 7112
spark UI详解 清楚的理解spark UI 的各个阶段有助于进行调优和分析定位问题 如何访问：默认ip:8088，在程序启动时也可看到日志中的UI访问地址 1：UI界面 导航栏部分主要分为7大部分 1：job级别的任务执行记录，可看到具体的executor和task执行时间 2：所有stage，stage是按照宽依赖来区分的，因此粒度上要比job更细一些 3 ：storage页面，我们所做的cache persist等操作，都会在这里看到，可以看出来应用目前使用了多少缓存 4： 代表environm
SparkUI怎么看—Stage指标汇总
的专栏
08-29 1745
SparkUI是spark任务的重要工具，这里能看到spark任务的运行状态到底是如何的，它能给我们的调优工作提供大部分的线索。 下面是一个spark任务在map、shuffle、reduce三个阶段的典型情况，供参考： Map Stage： Shuffle Stage： Reduce Stage： ...
hive on spark模式下spark的wei ui端口是什么、
最新发布
07-27
因此，当 Spark 作为独立集群运行时，其自身的 Web UI 端口仍然是 **8080**，而 Spark 历史服务器的 Web UI 端口号为 **18080**，可用于查看已完成任务的执行情况。 此外，当 Spark 运行在 YARN 上时，每个 Spark ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值