spark web ui 开启history server

最新推荐文章于 2024-10-31 18:52:13 发布
最新推荐文章于 2024-10-31 18:52:13 发布
阅读量493 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 数据挖掘 spark 文章标签： 大数据 ui
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/dongtest/article/details/84828835
本文介绍如何在/tmp目录下创建spark-events文件夹，并通过start-history-server.sh脚本启动Spark历史服务器。用户需要修改spark-defaults.conf配置文件启用事件记录功能。完成配置后，运行指定脚本即可启动服务器并访问http://localhost:18080查看。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在/tmp下建立目录 spark-events

./sbin/start-history-server.sh
修改配置文件./conf/spark-defaults.conf
添加这一行：spark.eventLog.enabled true

运行脚本 ./sbin/start-history-server.sh

查看地址http://localhost:18080
Spark： history Server
九师兄
08-03 3894
Spark History Server配置使用 1。Spark history Server产生背景以standalone运行模式为例，在运行Spark Application的时候，Spark会提供一个WEBUI列出应用程序的运行时信息；但该WEBUI随着Application的完成(成功/失败)而关闭，也就是说，Spark Application运行完(成功/失败)后，将无法查看Applic
Spark源码阅读之HistoryServer
u013597009的博客
07-17 1615
概述 HistoryServer服务可以让用户通过Spark UI界面，查看历史应用（已经执行完的应用）的执行细节，比如job信息、stage信息、task信息等，该功能是基于spark eventlogs日志文件的，所以必须打开eventlogs日志开关，关于日志开关的打开和HistoryServer服务的启动方法这里不再讲述，下面进入正题下面使用的spark版本是2.0.2类结构图
spark history web访问报错java.lang.NoSuchMethodError: javax.ws.rs.core.Application.getProperties()
qq_23112369的博客
09-18 1071
版本：spark2.4.8 模式：spark on yarn 具体错误：访问history-web的时候，一片空白，查不出配置在hdfs的log，仔细看了conf下的配置没问题，然后浏览器F12发现接口方法报错，信息为java.lang.NoSuchMethodError: javax.ws.rs.core.Application.getProperties()Ljava/util/Map; 搜索了这个方法来源于jersey-core。由于是spark on yarn，yarn的jersy-cor..
Spark History Server Web UI配置
UniqueChunBlog
03-12 1703
1.进入spark目录和配置文件 [root@hadoop01 ~]# cd /opt/app/spark/conf [root@hadoop01 conf]# cp spark-defaults.conf.template spark-defaults.conf 2.创建spark-history的存储日志路径为hdfs上(当然也可以在linux文件系统上) [root@hadoo...
Spark HistoryServer Web UI 上的时间显示错误
sx_1706的博客
10-21 420
在使用 spark 历史服务器时，开始和结束时间会与实际时间不同。其他地方显示都正常。 原因：历史服务器获取的是标准时间GMT.北京时间位于东八区，会相差8小时。 个人理解：时区的获取由硬件操作，只能获取到GMT，改成北京时间需要修改对应的偏移量（重新编译源代码） 解决如下： https://github.com/apache/spark/pull/16485/files 个人建议：凑合用吧。只要记住时差就好了。 参考： spark官方补丁 Spark History Server Web UI 上的时间显
spark的日志监控(WEB UI 和history server)
zeng6325998的博客
03-25 3123
背景 当我们在跑一个spark任务的时候，如果碰到数据倾斜或者我们想去看下运行参数或者具体的运行情况，这时候我们就需要一个可视化的日志页面，去监控spark的运行。 (注明:大部分知识点是从官方文档翻译，少部分是自己测试，或者在实际项目中的总结。) 官方文档地址:https://spark.apache.org/docs/latest/monitoring.html 1、spark UI 默认情况...
初次启动启动日志服务：sbin/start-history-server.sh时无法正常启动报错的解决
qq_62049041的博客
10-31 431
最近学了spark，启动日志服务：sbin/start-history-server.sh时一直报错，其他错误基本上都可以找得到，记录一个找了好久都找不到的错误以及解决方式。
如何杜绝 spark history server ui 的未授权访问?
明哥的IT随笔
11-16 1659
如何杜绝 spark history server ui 的未授权访问?
Spark 配置 Standalone 集群以及 Job History Server
a1786742005的博客
03-14 687
一、环境准备 1、准备三台 linux 机器 2、每台机器都设置好 ip 和主机名 3、每台机器设置主机名与 ip 映射 4、每台机器都关闭防火墙 5、设置机器与机器之间的 ssh 通信 6、每台机器都提前安装好 jdk 7、准备 spark 安装包 二、部署 standalone 集群 1、集群规划 hadoop151 hadoop152 hadoop153 master ...
SparkCore：History-Server/监控，查看程序历史运行日志
11号车厢
08-04 1101
文章目录1、History-Server介绍2、History-Server配置3、验证4、History-Server参数5、REST API 官网：Monitoring and Instrumentation http://spark.apache.org/docs/2.4.2/monitoring.html 1、History-Server介绍 当你执行spark-shell --maste...
15，spark history webUI使用姿势
北方的大数据之路
10-13 813
Environment 环境配置包括了几本的环境信息，和spark properties, 以及各种加载的jar包。 了解这些配置是我们排查问题的前提。 一般而言，我们通过spark-submit,以及其他方式运行spark-application, 通过Environment，我们可以看到一些基础的配置设置是否和目的一样。比如设置的spark.executor.core, spark.executor.memory是否和传参一致。 关于hadoop的相关properties,在这里是看不到的，如果想要看
Spark UI vs. Spark History Server UI
遥望......
02-04 303
Is Job Running ? 1. If you have Spark Applications Running, then you should be using SPARK UI. This UI is usually hosted on Spark Driver – In YARN cluster mode, the Driver is run on YARN Application...
【spark笔记】HistoryServer服务配置
m0_37911384的博客
09-17 346
配置文件：spark-defaults.conf spark.eventLog.enabled true spark.eventLog.dir hdfs://IP:8020/spark-events #提前创建好目录 spark.eventLog.compress true #压缩，减少资源消耗 配置文件：spark-env....
Spark配置之历史服务器（HistoryServer）
guohuishan的博客
12-30 2577
为什么要配置历史服务器 DriverProgram:客户端；提交一个应用程序（application）以后，再提交一次，就无法查看之前的提交信息了；使用历史服务器就可以 具体配置过程如下：现有客户机（clus10，clus11，clus12，clus13） 首先启动zookeeper bin/zkServer.sh start bin/zkServer.sh status 查看状态（一个leade...
Spark History Server配置使用
weixin_33696106的博客
09-19 619
Spark history Server产生背景 以standalone运行模式为例，在运行Spark Application的时候，Spark会提供一个WEBUI列出应用程序的运行时信息；但该WEBUI随着Application的完成(成功/失败)而关闭，也就是说，Spark Application运行完(成功/失败)后，将无法查看Application的历史记录； Spark histor...
启动&关闭Hadoop&Spark历史服务
奔赴彼岸
01-26 1067
/usr/local/src/hadoop-2.6.5/etc/hadoop目录下 启动hadoop历史服务 mr-jobhistory-daemon.sh start historyserver 关闭hadoop历史服务 mr-jobhistory-daemon.sh stop historyserver /usr/local/src/spark-2.4.4-bin-hadoop2.6目录下 启动Spark历史服务 ./sbin/start-history-server.sh 关闭Spark历史服务
spark学习系列——6 Historyserver配置
FisherWang_CN
03-20 862
1、说明sparkUI 只有在作业执行中才能从yarn界面看到状态，作业执行结束之后想要查看历史数据就必须配置Historyserver。2、配置方法如果spark记录下了一个作业生命周期内的所有事件，那么就会在该作业执行完成之后，我们进入其web ui时，自动用记录的数据重新绘制作业的web ui。有3个属性我们可以设置spark-defaults.confspark.eventLog.enab...
所有集群启动的命令
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
08-01 2463
所有集群启动的命令
大数据集群启动操作-单节点、集群
初学者
08-17 943
1、启动hadoop ① 需要启动 1、启动hdfs sbin/start-dfs.sh 2、启动yarn sbin/start-yarn.sh 3、启动日志（特别关键，可以很方便的从历史日志中查看你哪里出错，包括system.out.println打印的也可以呈现） sbin/mr-jobhistory-daemon.sh start historyserver 2、启动zookeeper b...
sparkui界面打不开
最新发布
03-15
- 解决办法：提高driver-memory大小或者单独为history server提供充足资源配置。 - **防火墙拦截/端口冲突**：确保目标主机开放了对应的服务监听端口号(通常是4040)，并且没有受到安全策略约束； - **浏览器缓存...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

walk walk

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值