spark查看历史任务的信息

最新推荐文章于 2025-04-30 08:30:00 发布
最新推荐文章于 2025-04-30 08:30:00 发布
阅读量1k 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/sxyqhyt/article/details/84719133
本文介绍如何配置Spark历史服务器，通过修改spark-default.conf和spark-env.sh文件启用事件日志记录功能，并设置日志压缩及存储目录。按照步骤操作后，可以查看历史任务详情。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >




1、在spark-default.conf中增加：
spark.eventLog.enabled                  true
spark.eventLog.dir                           hdfs://10.0.0.37:9000/sparklogs
spark.eventLog.compress                true

 

2、在spark-env.sh中增加：

export SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://10.0.0.37:9000/sparklogs"

(加入改行可以在start-history-server.sh启动中，不再加入hdfs://10.0.0.37:9000/sparklogs)


3、启动 start-history-server.sh 命令
4、然后就可以看到历史任务的详细信息

 

Hadoop3和Spark3配置日志聚合，客户端电脑实现YARN页面跳转查看Hadoop和Spark历史任务日志
zhengzaifeidelushang的博客
11-13 643
Hadoop3和Spark3配置日志聚合，客户端电脑实现YARN页面跳转查看Hadoop和Spark历史任务日志 Hadoop3和Spark3配置日志聚合的作用：将日志文件聚合到一起，通过web界面方便查看，并可以设置日志保存时间，节省空间，存储在HDFS上比较容易读取。 一、Hadoop、Spark日志聚合页面和YARN任务页面介绍 Hadoop日志聚合页面： Spark日志聚合页面： 在能查看Hadoop、Spark日志聚合页面的基础上，目标实现通过YARN页面跳转查看Hadoop、Spark历史任
spark配置历史服务
weixin_45401713的博客
03-15 503
修改spark-defaults.conf.template文件名 mv spark-defaults.conf.template spark-defaults.conf 修改spark-default.conf文件，配置日志存储路径 spark.eventLog.enabled true spark.eventLog.dir hdfs://Hadoop102:8020/directory 注意：需要启动hadoop集群 （hadoop102: start
Spark Job记录查看
Alen
07-12 892
修改配置文件 cd /opt/spark/conf cp spark-defaults.conf.template spark-defaults.conf vi spark-defaults.conf #开启日志服务 spark.eventLog.enabled true #日志存放位置 spark.eventLog.dir hdfs://master:8020/var/log/spark ...
SPARK启动历史任务查看
weixin_33728708的博客
06-08 529
SPARK历史任务查看需要一下配置:修改spark-defaults.conf配置文件 spark.eventLog.enabled true spark.eventLog.dir hdfs://192.168.9.110:9000/eventLogs spark.eventLog.compress ...
spark 2 查看历史job任务日志
qq_31806205的博客
05-28 3278
1。编辑spark-env.sh export HADOOP_HOME=/usr/hdp/current/hadoop-client export HADOOP_CONF_DIR=/usr/hdp/current/hadoop-client/conf 这两个其实就是为了获得hadoop中的hdfs和yarn的配置文件。 2。编辑spark-defaults.conf spark.hi...
spark 历史和实时任务日志监控
keyuquan的博客
02-01 3140
一.spark on yarn historyserver（运行完毕日志）   1.配置yarn日志参数:yarn-site.xml       yarn.log-aggregation-enable     true         yarn.log.server.url     http://hadoop-senior01.ibeifeng.com:1988
查看spark历史日志
qq_26869449的博客
08-28 1896
如果作业正在运行，日志可以从以下来看： 192.168.1.101:4040 这个是spark的log上有的 如果作业以完成，日志可以这样设置： spark-defaults.conf 增加如下内容 spark.eventLog.enabled true spark.eventLog.dir hdfs://master:8020/var/log/spark spa
一种基于历史任务分析的Apache Spark应用自动化调优方法.pdf
12-07
基于历史任务分析的Apache Spark应用自动化调优方法 本文档提出了一种基于历史任务分析的Apache Spark应用自动化调优方法，该方法通过对Spark应用的任务提交接口进行封装，判断是否已有该Spark应用的分层灰盒时间...
22.Spark不能查看到历史作业分析
大勇若怯任卷舒
07-12 515
22.1 问题情况 Spark的HistoryServer能正常查看之前的历史作业日志，但新提交的作业在执行完成后未能在HistoryServer页面查看。 分别使用root和ec2-user用户执行作业 通过sparkHistory Server可以正常查看到所有历史作业 将/user/spark/applicationHistory目录的所属组修改为supergroup，再次执行作业 sudo –u hdfs hadoop dfs –chown spark:supergroup /user/s
配置Spark历史服务器，轻松查看任务记录
2402_83590031的博客
04-23 673
在`spark - env.sh`文件中添加以下配置： ``` export SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://hadoop100:8020/directory" ``` 这一步是为历史服务器指定日志存储目录，使其能够正确读取和展示任务历史记录。进入`/opt/module/spark - standalone/sbin`目录，运行命令`./stop - all.sh`，停止当前正在运行的Spark集群。
（spark-shell）Scala命令行中如何批量查看多条历史命令（代码）
bensonrachel的博客
09-09 889
scala> :history 1000 可在输入里直接输入：得到更多的提示信息！ All commands can be abbreviated。 :h? <string> search the history :history [num] show the history (optional num is commands to show) scala> : All commands can be ab...
Confluence 6 查看一个任务的执行历史
HONEY MOOSE
07-31 646
希望查看一个计划任务最后运行的时间和这个计划任务最后一次运行花费了多长时间。单击计划任务边上的 历史（History ）连接。 如果一个计划任务从来没有运行的胡啊，那么这个历史的链接是不会显示的。 屏幕截图：任务执行历史 https://www.cwiki.us/display/CONF6ZH/Scheduled+Jobs...
spark运维监控：查看历史作业的webUI
u013164612的专栏
11-29 1729
1、停止集群 2、配置spark-env.sh export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=50 -Dspark.history.fs.logDirectory=hdfs://centos-5:9001/spark-event" 3、重启集群 4、...
Spark大数据常见错误及解决方案-HDFS-费元星
元星的博客，一起努力呀
04-10 2574
另外鼓励大家对每个知识点都先去源码里搜一下。有几个点非常重要：1.源码中的错误提示是非常系统的，因为什么原因报了什么错，而网站搜索的结果，非常片面，而且人人云亦云。-- 费元星。
spark如何查看执行历史端口
weixin_40699716的博客
08-19 72
我整理的一些关于【Spark】的项目学习资料（附讲解～～）和大家一起分享、学习一下：https://d.51cto.com/Hpqqk2Spark如何查看执行历史端口 在使用Apache Spark进行数据处理时，了解执行过程是非常重要的。Spark提供了一个叫做“Spark历史服务器（Spark History Ser...
Spark hIstory and Spark on yarn 配置及使用
zilianxiaozhu的博客
08-26 749
sprk on yarn 概述及使用     (0)spark 资源管理                                                                                                                                        G3-平头哥            Spark...
Spark内容分享(九)：三种 Spark 部署模式介绍
之乎者也·的博客
01-01 1822
在提交成功后, 将alive master直接kill掉不会影响程序运行，当新的master接收集群后, 程序继续运行, 正常得到结果。在YARN中 有一个历史服务器, 其功能是将YARN运行的程序的历史日志记录下来, 通过历史服务器方便用户查看程序运行的历史信息.Spark的历史服务器, 功能: 将Spark运行的程序的历史日志记录下来, 通过历史服务器方便用户查看程序运行的历史信息.不同的是, 这个解释器环境 运行的不是python代码, 而是scala程序代码。
Spark，配置历史服务
最新发布
2402_87076376的博客
04-30 336
进入 /opt/module/spark-standalone/conf/spark-default.conf.temple 先把名称改成spark-default.conf，再补充两个设置。启动hadoop的hdfs服务（start-dfs.sh）,并在根目录创建目录directory。可以通过命令行的方式来创建，也可以通过hadoop100:9870的页面操作来创建。4、5两步在上一条博客中直接一起配置了，所以这里可自行跳过。
Spark环境搭建（保姆级教程）
热门推荐
tangyi2008的专栏
02-24 5万+
Spark 是一个大规模数据处理的统一分析引擎 本文主要介绍Spark的相关配置，以及各种模式的代码提交，包括Local,Standalone,YARN。 文末有相应资源下载网盘链接。
spark 查看 job history 日志
weixin_30319153的博客
06-11 490
SPARK_HOME/conf 下: spark-defaults.conf 增加如下内容 spark.eventLog.enabled true spark.eventLog.dir hdfs://master:8020/var/log/spark spark.eventLog.compress true spark-env.sh 增加如下内容 expor...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值