spark web ui 开启history server

最新推荐文章于 2025-07-22 01:05:08 发布
原创 最新推荐文章于 2025-07-22 01:05:08 发布 · 508 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #ui

本文介绍如何在/tmp目录下创建spark-events文件夹，并通过start-history-server.sh脚本启动Spark历史服务器。用户需要修改spark-defaults.conf配置文件启用事件记录功能。完成配置后，运行指定脚本即可启动服务器并访问http://localhost:18080查看。
部署运行你感兴趣的模型镜像
在/tmp下建立目录 spark-events

./sbin/start-history-server.sh
修改配置文件./conf/spark-defaults.conf
添加这一行：spark.eventLog.enabled true

运行脚本 ./sbin/start-history-server.sh

查看地址http://localhost:18080

您可能感兴趣的与本文相关的镜像

Llama Factory

Llama Factory

模型微调
LLama-Factory

LLaMA Factory 是一个简单易用且高效的大型语言模型（Large Language Model）训练与微调平台。通过 LLaMA Factory，可以在无需编写任何代码的前提下，在本地完成上百种预训练模型的微调

Spark： history Server
九师兄
08-03 3953
Spark History Server配置使用 1。Spark history Server产生背景以standalone运行模式为例，在运行Spark Application的时候，Spark会提供一个WEBUI列出应用程序的运行时信息；但该WEBUI随着Application的完成(成功/失败)而关闭，也就是说，Spark Application运行完(成功/失败)后，将无法查看Applic
spark history web访问报错java.lang.NoSuchMethodError: javax.ws.rs.core.Application.getProperties()
qq_23112369的博客
09-18 1102
版本：spark2.4.8 模式：spark on yarn 具体错误：访问history-web的时候，一片空白，查不出配置在hdfs的log，仔细看了conf下的配置没问题，然后浏览器F12发现接口方法报错，信息为java.lang.NoSuchMethodError: javax.ws.rs.core.Application.getProperties()Ljava/util/Map; 搜索了这个方法来源于jersey-core。由于是spark on yarn，yarn的jersy-cor..
15，spark history webUI使用姿势
北方的大数据之路
10-13 863
Environment 环境配置包括了几本的环境信息，和spark properties, 以及各种加载的jar包。 了解这些配置是我们排查问题的前提。 一般而言，我们通过spark-submit,以及其他方式运行spark-application, 通过Environment，我们可以看到一些基础的配置设置是否和目的一样。比如设置的spark.executor.core, spark.executor.memory是否和传参一致。 关于hadoop的相关properties,在这里是看不到的，如果想要看
Spark集群下开启history server
mlnist的博客
12-03 691
1. 创建存放log文件的路径 cd /usr/local/hadoop/bin #hadoop/bin的路径，若设hadoop安装路径为环境变量，则不用运行上述命令 hdfs dfs -mkdir -p hdfs://master:9000/spark-events hdfs dfs -ls ./tmp #出现spark-event说明成功 2. 修改conf文件下的spark-def...
Spark History Server Web UI配置
UniqueChunBlog
03-12 1757
1.进入spark目录和配置文件 [root@hadoop01 ~]# cd /opt/app/spark/conf [root@hadoop01 conf]# cp spark-defaults.conf.template spark-defaults.conf 2.创建spark-history的存储日志路径为hdfs上(当然也可以在linux文件系统上) [root@hadoo...
Spark HistoryServer Web UI 上的时间显示错误
sx_1706的博客
10-21 459
在使用 spark 历史服务器时，开始和结束时间会与实际时间不同。其他地方显示都正常。 原因：历史服务器获取的是标准时间GMT.北京时间位于东八区，会相差8小时。 个人理解：时区的获取由硬件操作，只能获取到GMT，改成北京时间需要修改对应的偏移量（重新编译源代码） 解决如下： https://github.com/apache/spark/pull/16485/files 个人建议：凑合用吧。只要记住时差就好了。 参考： spark官方补丁 Spark History Server Web UI 上的时间显
spark的日志监控(WEB UI 和history server)
zeng6325998的博客
03-25 3243
背景 当我们在跑一个spark任务的时候，如果碰到数据倾斜或者我们想去看下运行参数或者具体的运行情况，这时候我们就需要一个可视化的日志页面，去监控spark的运行。 (注明:大部分知识点是从官方文档翻译，少部分是自己测试，或者在实际项目中的总结。) 官方文档地址:https://spark.apache.org/docs/latest/monitoring.html 1、spark UI 默认情况...
如何杜绝 spark history server ui 的未授权访问?
明哥的IT随笔
11-16 1728
如何杜绝 spark history server ui 的未授权访问?
Spark 配置 Standalone 集群以及 Job History Server
a1786742005的博客
03-14 709
一、环境准备 1、准备三台 linux 机器 2、每台机器都设置好 ip 和主机名 3、每台机器设置主机名与 ip 映射 4、每台机器都关闭防火墙 5、设置机器与机器之间的 ssh 通信 6、每台机器都提前安装好 jdk 7、准备 spark 安装包 二、部署 standalone 集群 1、集群规划 hadoop151 hadoop152 hadoop153 master ...
Spark Web UI 截图
06-18
- 启动 Spark History Server，通过访问 `http://<history-server-node>:18080` 可以查看历史应用程序的 Web UI。 #### 4. 监控任务执行细节 - 在 Spark Web UI 中，“Executors”、“Stages” 和 “Jobs” 页面...
Spark 的监控和性能调优高度依赖其内置的工具：【 Spark Web UI 和 Spark History Server】
最新发布
csdn_tom_168的博客
07-22 1858
Spark性能监控与调优工具概述 Spark提供Web UI和History Server用于监控和调优作业性能。Web UI（默认端口4040）包含关键标签页： Jobs：展示作业状态、耗时及进度，帮助定位耗时或失败的Action操作 Stages：核心分析页，显示Stage划分、数据倾斜（Task耗时差异）、Shuffle数据量及GC时间等关键指标 Storage：监控缓存数据集的大小与存储级别 Executors：查看Executor资源使用情况，特别是GC时间和Shuffle读写，支持日志诊断 SQ
初次启动启动日志服务：sbin/start-history-server.sh时无法正常启动报错的解决
qq_62049041的博客
10-31 477
最近学了spark，启动日志服务：sbin/start-history-server.sh时一直报错，其他错误基本上都可以找得到，记录一个找了好久都找不到的错误以及解决方式。
Spark UI vs. Spark History Server UI
遥望......
02-04 321
Is Job Running ? 1. If you have Spark Applications Running, then you should be using SPARK UI. This UI is usually hosted on Spark Driver – In YARN cluster mode, the Driver is run on YARN Application...
【spark笔记】HistoryServer服务配置
m0_37911384的博客
09-17 352
配置文件：spark-defaults.conf spark.eventLog.enabled true spark.eventLog.dir hdfs://IP:8020/spark-events #提前创建好目录 spark.eventLog.compress true #压缩，减少资源消耗 配置文件：spark-env....
Spark配置之历史服务器（HistoryServer）
guohuishan的博客
12-30 2616
为什么要配置历史服务器 DriverProgram:客户端；提交一个应用程序（application）以后，再提交一次，就无法查看之前的提交信息了；使用历史服务器就可以 具体配置过程如下：现有客户机（clus10，clus11，clus12，clus13） 首先启动zookeeper bin/zkServer.sh start bin/zkServer.sh status 查看状态（一个leade...
Spark History Server配置使用
weixin_33696106的博客
09-19 645
Spark history Server产生背景 以standalone运行模式为例，在运行Spark Application的时候，Spark会提供一个WEBUI列出应用程序的运行时信息；但该WEBUI随着Application的完成(成功/失败)而关闭，也就是说，Spark Application运行完(成功/失败)后，将无法查看Application的历史记录； Spark histor...
启动&关闭Hadoop&Spark历史服务
奔赴彼岸
01-26 1094
/usr/local/src/hadoop-2.6.5/etc/hadoop目录下 启动hadoop历史服务 mr-jobhistory-daemon.sh start historyserver 关闭hadoop历史服务 mr-jobhistory-daemon.sh stop historyserver /usr/local/src/spark-2.4.4-bin-hadoop2.6目录下 启动Spark历史服务 ./sbin/start-history-server.sh 关闭Spark历史服务
Spark集群周边的Web UI设置与打开的端口汇总(持续更新中)
微电子学与固体电子学-俞驰
05-04 3807
下面是变量名: 变量 取值 所在文件 作用 spark.eventLog.enabled true spark-defaults.conf 开启日志记录 spark.eventLog.dir 我这里设置的是hdfs路径.(也可以是本地路径如file:///val/log/sparkEventLog) spark-defaults.conf ...
spark学习系列——6 Historyserver配置
FisherWang_CN
03-20 896
1、说明sparkUI 只有在作业执行中才能从yarn界面看到状态，作业执行结束之后想要查看历史数据就必须配置Historyserver。2、配置方法如果spark记录下了一个作业生命周期内的所有事件，那么就会在该作业执行完成之后，我们进入其web ui时，自动用记录的数据重新绘制作业的web ui。有3个属性我们可以设置spark-defaults.confspark.eventLog.enab...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

walk walk

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值