spark 查看 job history 日志

最新推荐文章于 2025-05-19 08:08:56 发布
最新推荐文章于 2025-05-19 08:08:56 发布
阅读量3.3w 收藏 4
点赞数 4
CC 4.0 BY-SA版权
分类专栏： spark 文章标签： history 日志 job spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/stark_summer/article/details/46459701
本文详细介绍了如何在Spark环境中配置日志记录和启动历史服务器，以实现Spark任务运行完成后通过web页面查看日志的功能。主要内容包括在`conf`目录下的`spark-defaults.conf`和`spark-env.sh`中进行关键配置，如启用事件日志记录、设置日志存储位置及压缩选项等。此外，还介绍了与历史服务器相关的配置参数，如更新间隔、保留应用记录数量、端口号、kerberos登录选项等。最后，演示了如何启动历史服务器并验证配置是否正确。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

SPARK_HOME/conf 下:

spark-defaults.conf 增加如下内容

spark.eventLog.enabled true
spark.eventLog.dir hdfs://master:8020/var/log/spark
spark.eventLog.compress true

spark-env.sh 增加如下内容

export SPARK_HISTORY_OPTS=”-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs:/master:8020/var/log/spark”

启动start-history-server.sh

SPARK_HOME/conf 下: 执行 ./start-history-server.sh

spark job history web: master:18080

这样在spark任务运行完成之后,就可以通过web页面查看日志了

history server相关的配置参数描述

  1. spark.history.updateInterval
    　　默认值：10
    　　以秒为单位，更新日志相关信息的时间间隔

  2. spark.history.retainedApplications
    　　默认值：50
    　　在内存中保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，当再次访问已被删除的应用信息时需要重新构建页面。

  3. spark.history.ui.port
    　　默认值：18080
    　　HistoryServer的web端口

  4. spark.history.kerberos.enabled
    　　默认值：false
    　　是否使用kerberos方式登录访问HistoryServer，对于持久层位于安全集群的HDFS上是有用的，如果设置为true，就要配置下面的两个属性

  5. spark.history.kerberos.principal
    　　默认值：用于HistoryServer的kerberos主体名称

  6. spark.history.kerberos.keytab
    　　用于HistoryServer的kerberos keytab文件位置

  7. spark.history.ui.acls.enable
    　　默认值：false
    　　授权用户查看应用程序信息的时候是否检查acl。如果启用，只有应用程序所有者和spark.ui.view.acls指定的用户可以查看应用程序信息;否则，不做任何检查

  8. spark.eventLog.enabled
    　　默认值：false
    　　是否记录Spark事件，用于应用程序在完成后重构webUI

  9. spark.eventLog.dir
    　　默认值：file:///tmp/spark-events
    　　保存日志相关信息的路径，可以是hdfs://开头的HDFS路径，也可以是file://开头的本地路径，都需要提前创建

  10. spark.eventLog.compress
    　　默认值：false
    　　是否压缩记录Spark事件，前提spark.eventLog.enabled为true，默认使用的是snappy

以spark.history开头的需要配置在spark-env.sh中的SPARK_HISTORY_OPTS，以spark.eventLog开头的配置在spark-defaults.conf
尊重原创，未经允许不得转载：http://blog.youkuaiyun.com/stark_summer/article/details/46459701

Hadoop配置日志的聚集——jobhistory不显示任务问题
Aurora__213的博客
03-06 976
到这里都没有错，找了半天发现是前面配置的mapred-site.xml出错了，就是如果设置日志聚集的话，前面配置的mapred-site也需要修改一下配置。一开始job history是正常的，配置了日志的聚集以后不管做什么任务都不显示任务，hdfs是正常运行，而且根据配置步骤都重启过了。这样就改好了，出现类似问题的话，大部分就是mapred-site和yarn-site这两个文件没有配置好，就可以多检查几遍看看。修改以后在分发一下，重新启动就好了，运行命令也有记录了。1.配置yarn-site.xml。
Spark Job记录查看
Alen
07-12 890
修改配置文件 cd /opt/spark/conf cp spark-defaults.conf.template spark-defaults.conf vi spark-defaults.conf #开启日志服务 spark.eventLog.enabled true #日志存放位置 spark.eventLog.dir hdfs://master:8020/var/log/spark ...
快速配置Spark历史服务的完整指南
2501_90941609的博客
05-19 282
快速配置Spark历史服务的完整指南
（8）Spark 2.0.0 查看job 历史日志
王培晓Carpenter
12-13 4820
引言 启动Spark历史日志 1 安装Spark 2 修改配置文件spark-defaultsconf 3 修改配置文件spark-envsh 4 创建日志目录 5 启动spark历史日志web端 6 浏览器查看是否启动成功1.引言      在使用Spark的时候，有时候我们会关注job的历史日志，但是在Spark中默认情况下，历史日志是关闭的，在本篇博客中主要介绍一下如何启动spark的历史日志
Spark历史日志服务器开启及配置
yj2434的博客
11-02 1193
可以使用历史日志服务器查看以前的job执行日志 临时配置，对本次提交的应用程序起作用： ./spark-shell --master spark://node1:7077 --name myapp1 --conf spark.eventLog.enabled=true --conf spark.eventLog.dir=hdfs://node1:9000/spark/test 停止程序，在 Web Ui 中 Completed Applications 对应的 ApplicationID 中能查看 his
spark日志查看
daxiongwuwuwuw的博客
08-09 4070
找到application id进去 这里查看driver 或者进入spark的history 来这里可以同时查看所有的executor，包括driver。点开executor后可以看到你所有的executor，和一个driver。日志见右侧。stdout是自己定义println的输出日志，stderr是spark输出的规范日志。 对于driver日志而言，代码中的println()和show()等函数的输出，一般都在stdout里，大部分重要的报错信息都在stderr里。如果application
Spark 配置 Standalone 集群以及 Job History Server
a1786742005的博客
03-14 687
一、环境准备 1、准备三台 linux 机器 2、每台机器都设置好 ip 和主机名 3、每台机器设置主机名与 ip 映射 4、每台机器都关闭防火墙 5、设置机器与机器之间的 ssh 通信 6、每台机器都提前安装好 jdk 7、准备 spark 安装包 二、部署 standalone 集群 1、集群规划 hadoop151 hadoop152 hadoop153 master ...
spark6. 如何设置spark 日志
笔生花的博客
09-13 1843
本文只讲解再yarn 模式下的日志配置。
从0到1进行Spark history分析
fhw10204130的专栏
12-28 743
一、总体思路# 以上是我在平时工作中分析spark程序报错以及性能问题时的一般步骤。当然，首先说明一下，以上分析步骤是基于企业级大数据平台，该平台会抹平很多开发难度，比如会有调度日志（spark-submit日志）、运维平台等加持，减少了开发人员直接接触生成服务器命令行的可能，从物理角度进行了硬控制，提高了安全性。 下面我将带领大家从零到一，从取日志，到在Spark WebUI进行可视化分析相关报错、性能问题的方法。 二、步骤# （一）获取applicationID# 1.从调度日志获取#
SparkCore：History-Server/监控，查看程序历史运行日志
11号车厢
08-04 1101
文章目录1、History-Server介绍2、History-Server配置3、验证4、History-Server参数5、REST API 官网：Monitoring and Instrumentation http://spark.apache.org/docs/2.4.2/monitoring.html 1、History-Server介绍 当你执行spark-shell --maste...
Spark HistoryServer日志解析&清理异常
学亮编程手记
07-22 2591
Spark HistoryServer日志解析&清理异常 一、背景介绍 用户在使用 Spark 提交任务时，经常会出现任务完成后在 HistoryServer（Spark 1.6 和 Spark 2.1 HistoryServer 合并，统一由 Spark 2.1 HistoryServer 管控，因此本文的代码分析都是基于 Spark 2.1 版本的代码展开的）中找不到 appid 信息，尤其是对于失败的任务，用户无法查看日志分析任务失败的原因。为此，特地对 Spark 2.1 HistorySe
Spark History Server配置使用
weixin_33696106的博客
09-19 619
Spark history Server产生背景 以standalone运行模式为例，在运行Spark Application的时候，Spark会提供一个WEBUI列出应用程序的运行时信息；但该WEBUI随着Application的完成(成功/失败)而关闭，也就是说，Spark Application运行完(成功/失败)后，将无法查看Application的历史记录； Spark histor...
Spark JobHistoryServer配置
背离赤道、逆光而行
05-06 1099
在spark配置文件目录下：/usr/local/BigDataApp/spark-2.1.1-bin-hadoop2.7/conf 1）修改 spark-default.conf.template 名称 mv spark-defaults.conf.template spark-defaults.conf 2）修改 spark-default.conf 文件，开启 Log： vim spark...
SparkCore（6）：Spark应用的监控Job History（yarn or standalone）
小蚯蚓的博客
10-23 575
1.实现功能 对于spark正在运行的应用，可以通过webUI：4040来查看，但是对于已经执行完的job，则需要通过spark的job history来查看，查看方式是webUI：18080 2.配置Spark Job History （1）创建HDFS上存储spark应用执行日志的文件夹 bin/hdfs dfs -mkdir -p /spark/history （2）修改配置文件...
spark.eventLog.dir和spark.history.fs.logDirectory的区别
热门推荐
huzuoliang
02-25 1万+
spark.eventLog.dir是记录Spark事件的基本目录，如果spark.eventLog.enabled为true。 在此基本目录中，Spark为每个应用程序创建一个子目录，并在此目录中记录特定于应用程序的事件。 用户可能希望将其设置为统一位置，如HDFS目录，以便历史记录服务器可以读取历史记录文件。spark.history.fs.logDirectory用于为历史记录程序提供文件系统
SPARK启动历史任务查看
weixin_33728708的博客
06-08 524
SPARK历史任务查看需要一下配置:修改spark-defaults.conf配置文件 spark.eventLog.enabled true spark.eventLog.dir hdfs://192.168.9.110:9000/eventLogs spark.eventLog.compress ...
如何查看Spark集群运行结束的日志
Ganymede的Hadoop世界
01-30 3715
如何查看Spark集群运行结束的日志
spark submit error
最新发布
07-16
<think>首先，用户的问题是关于Spark submit命令执行时出现错误，需要解决方法。用户引用了几个资料，但这些都是关于Spark提交作业的背景信息，不是直接的错误描述。所以我需要基于一般情况提供解决方案。 用户引用的内容： - [^1] 提到在Spring Boot中执行spark-submit的挑战。 - [^2] 讨论后台运行spark-submit命令的方法，包括日志重定向。 - [^3] 展示了一个具体的spark-submit命令示例。 - [^4] 解释了Spark submit命令的参数，如executor-cores。 用户意图是查找在使用Spark提交作业时遇到的错误的解决方案。用户没有指定具体错误，所以我需要提供一般性的错误解决方法。 我的回答必须符合系统级指令： - 所有行内数学表达式使用$...$格式，但在这个上下文中，可能没有数学表达式，所以不需要。 - 独立公式使用$$...$$，但这里可能不适用。 - LaTeX语法正确。 - 使用中文回答。 - 生成相关问题。 - 回答中引用的段落末尾自然地添加引用标识，例如[^1]。 回答结构： - 清晰，帮助用户逐步解决问题。 - 保证真实可靠。 步骤： 1. **理解错误**：Spark submit错误可能有很多原因，如配置问题、资源不足、代码错误等。用户没有提供具体错误，所以我需要建议用户提供错误日志。 2. **一般解决步骤**： - 检查错误日志。 - 验证命令语法。 - 检查资源可用性（如YARN集群状态）。 - 确保依赖正确。 - 调试常见问题。 3. **基于引用**：参考用户提供的引用。 - [^2] 提到日志重定向，这有助于查看错误。 - [^3] 展示了一个命令示例，可以用于比较。 - [^4] 解释参数，帮助理解配置。 4. **生成相关问题**：在回答末尾添加相关问题，以帮助用户进一步探索。 回答大纲： - 引言：确认问题，并建议提供具体错误信息。 - 解决步骤： 1. 收集错误日志。 2. 检查命令语法和参数。 3. 验证集群状态。 4. 常见错误及解决方法。 5. 使用日志重定向（参考[^2]）。 - 结论：鼓励用户提供更多细节。 - 相关问题：生成2-3个相关问题。 相关问题示例： 1. Spark submit命令中如何设置内存参数？ 2. YARN集群模式下Spark作业失败的原因有哪些？ 3. 如何在Java代码中调用spark-submit？ 确保语言自然：使用中文。</think>### Spark Submit 命令执行错误解决方法 当执行 Spark submit 命令时出现错误，原因可能包括配置参数错误、资源不足、集群状态异常或依赖缺失等。由于您未提供具体错误信息，我将基于常见问题提供一般性解决步骤。请首先检查错误日志（如控制台输出或 YARN 日志），这能帮助定位问题。以下步骤参考了您提供的引用资料，并结合 Spark 最佳实践。 #### 解决步骤 1. **检查命令语法和参数**： - Spark submit 命令格式必须正确。例如，引用[^3] 展示了完整命令：`spark-submit --class test --master yarn --deploy-mode client ...`。常见错误包括： - 参数拼写错误（如 `--executor-cores` 写成 `--executor-core`）。 - 参数值无效（如内存设置超出集群可用资源）。 - 依赖文件缺失（如 `--files` 或 `--jars` 指定的文件路径不正确）。 - **解决方法**：使用 `spark-submit --help` 验证参数格式，并参考 Spark 官方文档[^4]。确保所有路径和文件名正确。 2. **查看和分析错误日志**： - 日志是诊断的关键。引用[^2] 建议将日志重定向到文件以避免丢失：`spark-submit your_job.jar > ~/error.log 2>&1`。这会将所有输出（包括错误）保存到 `error.log` 文件。 - 常见日志错误： - `ClassNotFoundException`：检查 `--class` 指定的主类名是否正确，或 `--jars` 是否包含所有依赖 JAR。 - `OutOfMemoryError`：调整内存参数（如 `--driver-memory` 或 `--executor-memory`），参考引用[^4] 确保不超过集群限制。 - `ResourceManager` 错误：YARN 集群资源不足，需检查队列状态（如 `--queue` 参数）。 3. **验证集群和资源状态**： - 确保集群（如 YARN）正常运行。运行 `yarn node -list` 检查节点状态。 - 资源不足是常见问题。引用[^4] 提到，executor 数量和内存设置（如 `--num-executors`、`--executor-memory`）必须匹配集群容量。计算总需求：$ \text{总内存} = \text{num-executors} \times \text{executor-memory} $，确保不超过 YARN 配置的 `yarn.scheduler.maximum-allocation-mb`。 4. **常见错误及快速修复**： - **权限或认证失败**：如引用[^3] 所示，添加安全参数（如 `--files` 指定 keytab 文件）。示例：`--files "./kafka.service.keytab#kafka.service.keytab"`。 - **后台运行问题**：如果命令在终端关闭后终止，使用 `nohup` 后台运行：`nohup spark-submit ... > ~/log.out &`，这能防止会话中断[^2]。 - **依赖冲突**：确保 `--jars` 包含所有必需库，避免版本冲突（如 Hadoop 或 Spark 版本不匹配）。 - **特定环境问题**：如在 Spring Boot 中调用，引用[^1] 指出需使用 Java API（如 `ProcessBuilder`）执行命令，而非直接调用 shell。示例代码： ```java ProcessBuilder pb = new ProcessBuilder("spark-submit", "--class", "your.MainClass", "path/to/jar"); pb.redirectErrorStream(true); // 合并错误和输出流 Process p = pb.start(); // 读取日志以捕获错误 ``` 5. **高级调试**： - 启用详细日志：添加 `--verbose` 参数到 spark-submit 命令。 - 测试最小化案例：提交一个简单作业（如 Spark 示例程序）验证集群功能。 - 监控工具：使用 YARN ResourceManager UI 或 Spark History Server 查看作业详情。 如果以上步骤无效，请提供具体错误日志或命令示例，我能进一步针对性帮助。Spark 错误通常源于配置细节，耐心检查日志往往能快速解决[^2][^4]。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值