【Spark十八】Spark History Server

Spark History Server详解与配置
最新推荐文章于 2024-10-28 20:07:47 发布
原创 最新推荐文章于 2024-10-28 20:07:47 发布 · 476 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #java #ui

本文介绍了Spark History Server的作用，如何配置和启动它，以及如何查看作业执行情况和详细信息，包括Job数量、Stage数量、Stage详情和Executor执行情况。

本文包括如下内容：

 

  • Spark History Server的作用

  • 配置Spark History Server

  • 运行Spark History Server

  • 查看Spark程序的运行信息

Spark History Server的作用

在 运行Spark应用程序的时候，driver会提供一个webUI用于展现应用程序的运行信息，但是该webUI随着应用程序的完成而关闭端口。也就是说，这个服务是伴随Spark应用程序的运行周期的，也就是当应用程序运行完成后，将无法查看应用程序的历史记录。Spark history server就是为了应对这种情况而产生的，通过配置，Spark应用程序在运行完应用程序之后，将应用程序的运行信息写入指定目录，而Spark history server可以将这些运行信息装载并以web的方式供用户浏览

 

伴随Spark应用程序而启动的web查看服务的默认端口号是4040，或者4041(如果当前端口被占用，比如4040被占用，那么Spark会抛一个异常，但是不影响应用继续运行，dr

最低0.47元/天 解锁文章
spark history server 18081 端口jetty 漏洞修复
04-18
spark history server 18081 端口jetty 漏洞修复
Spark： history Server
九师兄
08-03 3951
Spark History Server配置使用 1。Spark history Server产生背景以standalone运行模式为例，在运行Spark Application的时候，Spark会提供一个WEBUI列出应用程序的运行时信息；但该WEBUI随着Application的完成(成功/失败)而关闭，也就是说，Spark Application运行完(成功/失败)后，将无法查看Applic
Spark历史服务器配置与使用
蚂蚁
08-04 1322
介绍 spark也有历史服务器，监控已经运行完成的spark application start-history-server.sh （1）将application运行的日志信息保存起来 MapReduce运行的时候，启动了日期聚集功能：将日志信息 上传到HDFS目录 （2）启动一个服务读取日志信息，以便前端页面展示 MrHistoryServer 配置Spark HistoryServer 1....
Spark History Server配置使用
leegh1992的专栏
11-22 2331
1、Spark History Server的作用 在运行Spark应用程序的时候，driver会提供一个webUI用于展现应用程序的运行信息，但是该webUI随着应用程序的完成而关闭端口。也就是说，这个服务是伴随Spark应用程序的运行周期的，也就是当应用程序运行完成后，将无法查看应用程序的历史记录。Spark History Server就是为了应对这种情况而产生的，通过配置，Spar
生产环境实战spark （10）分布式集群 5台设备 SPARK集群 HistoryServer WEBUI不能打开问题解决 File file:/tmp/spark-events does not
大模型与Agent智能体
04-27 5096
生产环境实战spark （10）分布式集群 5台设备 SPARK集群 HistoryServer WEBUI不能打开问题解决这个是个老问题，之前也遇到过，启动start-history-server.sh，报错如下Caused by: java.io.FileNotFoundException: Log directory specified does not exist: file:/tmp/s
spark history-server的使用
weixin_30576859的博客
03-31 289
为什么需要historyServer? 在运行Spark Application的时候，Spark会提供一个WEBUI列出应用程序的运行时信息；但该WEBUI随着Application的完成(成功/失败)而关闭，也就是说，Spark Application运行完(成功/失败)后，将无法查看Application的历史记录。 Spark history...
Spark History Server 架构原理介绍
u013332124的专栏
03-08 5063
文章目录一、eventLog日志文件以及相关参数eventLog日志文件介绍相关配置参数二、两个定时任务解析eventLog日志文件线程清理过期的eventLog日志文件的线程三、History Server的架构缓存机制四、一些潜在的问题1. spark.history.retainedApplications 设置太大导致的OOM问题2. eventLog 日志文件过大导致的OOM问题3. H...
Spark启动HistoryServer
merrily01的博客
02-02 2528
1.spark-defaults.conf中添加配置，开启eventLog并指定存放路径： spark.eventLog.enabled=true spark.eventLog.compress=true spark.eventLog.dir=hdfs://XXX:9000/spark_eventlog/ 2. $SPARK_HOME/sbin下，执行 ./start-history-server.sh 启动history-server： 需要注意的是,start-history-server..
Spark 之 HistoryServer and FsHistoryProvider
zhixingheyi_tian的博客
10-28 467
【代码】Spark 之 FsHistoryProvider。
spark history server 本地路径
merrily01的博客
06-09 1014
本地启spark history server，spark.history.fs.logDirectory除了可以设置为hdfs远程目录外，还可以设置为本地路径，如： ./start-history-server.sh file:///home/te/maruilei/scripts/logs/tmp_log/
spark-介绍 + 高可用 + Spark-submit + 历史服务器
qq_35968375的博客
03-31 2773
为什么要使用spark -spark到目前为止没有竞争对手 为什么要用到大数据? -文件超级大,一块硬盘放不下,—>hdfs上场;(存储问题) -僵尸数据:(数据存储到一个位置得用起来);(CPU+内存来完成计算);多机一块运算(MapReduce) -mr的开发流程特别繁琐;hive --> sql语句 --> 会转换成 mr 代码 --> hadoop中...
spark深入：配置文件与日志
weixin_30252155的博客
06-23 291
一、第一部分 1、spark2.1与hadoop2.7.3集成，spark on yarn模式下，需要对hadoop的配置文件yarn-site.xml增加内容，如下： <property> <name>yarn.log-aggregation-enable</name> <value>true</v...
Day8：IDEA 开发spark
zhanglin200508的专栏
02-29 607
本内容整理来源于DT大数据梦工厂。 在bin 目录下执行： ./spark-submit --class cn.tan.spark.dt.WordCount --master spark://node11:7077   /home/word.jar spark jobHistory 配置： Caused by: java.lang.IllegalArgumentException:
spark historyServer
weixin_42496757的博客
03-22 1160
作者：明翼（XGogo）出处：http://www.cnblogs.com/seaspring/本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则保留追究法律责任的权利。不能用于商业用户，若商业使用请联系：-------------QQ:107463366微信:shinelife------------- *********...
spark history server学习
q5390498的博客
11-04 783
原文：http://bit1129.iteye.com/blog/2174673 本文包括如下内容：Spark History Server的作用 配置Spark History Server 运行Spark History Server 查看Spark程序的运行信息 Spark History Server的作用 在 运行Spark应用程序的时候，driver会提供一个webUI用于展
Spark集群搭建与测试
coderlaw's study
12-23 1999
Spark集群搭建与测试   一、安装Ubuntu     1 .安装 VMware Workstation 软件 推荐官方下载最新版，下载地址： https://my.vmware.com/cn/web/vmware/details?downloadGroup=WKST-1210-WIN&productId=524&rPId=9763    2.运行VMware Workstat
错误提示：java.lang.IllegalArgumentException解决方法
热门推荐
飞翔射手座
03-09 22万+
我的程序出现这个错误的原因是编译环境和运行环境的jdk版本不一致，首先是spring mvc的版本是3.*的，而我本机的jdk是jdk8，查阅资料后得知他俩的兼容性不是很好，有问题，只能用jdk7及以下的版本，所以我就在myeclipse中直接导入了一个jdk1.7，但是这样依然没有解决，这是因为，这样导入后，我的运行环境和编译环境不一致，所以就要经过以下的设置： 选中项目，单击右键-》Prope
Spring+Mybatis整合时Caused by: java.lang.IllegalArgumentException错误
风飘向太阳
05-24 6万+
Caused by: java.lang.IllegalArgumentException 详细错误信息： org.springframework.beans.factory.BeanDefinitionStoreException: Failed to read candidate component class: file [E:\workspace\spring_mybatis\bin\
SparkCore：History-Server/监控，查看程序历史运行日志
11号车厢
08-04 1126
文章目录1、History-Server介绍2、History-Server配置3、验证4、History-Server参数5、REST API 官网：Monitoring and Instrumentation http://spark.apache.org/docs/2.4.2/monitoring.html 1、History-Server介绍 当你执行spark-shell --maste...
spark启动historyserver指令
最新发布
10-08
- 检查日志输出：启动后，查看`logs/`目录下的日志文件（如`spark-<user>-org.apache.spark.deploy.history.HistoryServer-<hostname>.out`），确认无错误信息。 - 访问Web UI：打开浏览器，访问`...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值