Spark history server fails to render compressed inprogress history file in some cases

最新推荐文章于 2024-07-27 08:30:00 发布
原创 最新推荐文章于 2024-07-27 08:30:00 发布 · 270 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

博客指出生产环境中 Spark History Server 用的是 Spark 2.2.0 的 Fork 版本，近期出现无法访问问题。复盘发现是 Spark JIRA 上提到的问题，修复代码在 2.2.1 以后版本，当前版本未包含。解决办法是基于 Spark 2.3.0 重新构建镜像升级版本。

文章目录

1 Overview

我们目前生产环境，包括 Spark History Server 用的都是 Spark 2.2.0 的 Fork 版本，所以社区有些基于 2.2.0 甚至之前版本的 Fix 是没有合并进来的。近期在看 Spark History Server 的时候，偶尔会发现无法访问。

2 复盘

检查 Spark History Server 的日志，发现如下错误信息。

Spark history server fails to render compressed inprogress history file in some cases，最后发现这是一个 Spark JIRA 上提到过的问题。

在这里插入图片描述

可惜的是，修复的代码是在 2.2.1 以后的版本了，但是我们的 History Server 是基于 Spark 2.2.0 的，显然代码里没有包含修复的逻辑。

3 Fix

解决的办法就是升级 Spark History Server 的版本。基于 Spark 2.3.0 重新构建一个镜像就可以了。

[Spark版本更新]--Spark-2.0.1版本的最新改动
欢迎来到我的博客，一起探索代码里的世界！
11-12 6959
spark-2.0.1版本的最新改动 Sub-task(子任务) [SPARK-15232] - Add subquery SQL building tests to LogicalPlanToSQLSuite [SPARK-15698] - Ability to remove old metadata for structure streaming MetadataLog [SPARK-...
Introduction to Unit Testing in Java
AI天才研究院
07-28 1593
UNIT TESTING (UNIT测试)，是在软件开发生命周期中不可或缺的一环。单元测试是一个模块化的测试工作，它的目标是验证某个函数、模块或者类的某个功能是否符合设计要求。它通过对代码中独立的测试用例进行运行和验证，发现错误并报告给相关人员。在单元测试中，会涉及到一些基本的概念，比如测试用例（Test Case），测试计划（Test Plan），测试环境（Test Environment）等，下面简单介绍一下这些概念和术语。1.测试用例（Test Case）
Spark从入门到精通第九课：Spark监控之history-server
曹利荣的博客
03-13 837
1、每一个SparkContext都会启动一个网页UI，这个网的UI上包含诸如stages/tasks/RDD/executor/配置环境/配置参数等一些许许多多的信息，它默认的地址是http://<driver_node>:4040,当我们在一个机器上运行了多个SparkContext的时候，除了第一个SparkContext，其余的SparkContext的默认端口就变为4041、...
hadoop shell删除spark日志文件
qq_42422698的博客
06-24 1245
hdfs占用查询.发现 /spark2-history/目录下占用磁盘最大。 [root@node104 ~]# hdfs dfs -du -h / 2.0 G 2.8 G /app-logs 56.3 G 112.4 G /apps 0 0 /ats 5.2 M 5.2 M /atsv2 0 0 /export 1.3 G 1.3 G /hdp 0 0 /l
解决spark streaming长时间运行日志不断增长问题
shengjk1的博客
09-29 5588
解决spark streaming长时间运行日志不断增长问题一、spark streaming log 日志二、spark streaming event log 组件： 基于CDH5.13、spark2.2.X 背景： 由于spark streaming是7*24小时不间断运行的，日志必然会越来越多到最后大的惊人，在此小二记录一下解决日志越来越大的过程，以便需要之人。 一、spark strea...
Spark history-server详解
热门推荐
05-21 1万+
概述 这里作者和大家一起学习Spark 中的history-server，那他到底是什么呢？该如何去学习呢？ 我们可以带着下面几个问题进行详细的学习于思考： 1. history-server产生背景 2. history-server的作用 3. 如何配置和使用 4. history-server重要参数 5. sc.stop的重要性 6. REST API 1 histor...
Spark排错与优化
weixin_30383279的博客
10-15 854
一. 运维 1. Master挂掉,standby重启也失效 Master默认使用512M内存，当集群中运行的任务特别多时，就会挂掉，原因是master会读取每个task的event log日志去生成spark ui，内存不足自然会OOM，可以在master的运行日志中看到，通过HA启动的master自然也会因为这个原因失败。 解决 增加Master的内存占用...
Py_Initialize fails - unable to load the file system codec
jacke121的专栏
04-15 2569
Py_Initialize fails - unable to load the file system codec https://stackoverflow.com/questions/5694706/py-initialize-fails-unable-to-load-the-file-system-codec Py_SetPythonHome(L"D:\\Progr...
数据泵搭建的同步环境同步失败、cannot backup or copy active file in NOARCHIVELOG mode
最新发布
weixin_tank88921的博客
07-27 2139
解决办法：方法1、mount状态下备份方法2、归档模式下备份。
VC++对字符串进行加密的MD5String和获取文件MD5值的MD5File函数的封装（附源码）
dvlinker的技术专栏
04-01 2543
对字符串进行加密的MD5String和获取文件MD5值的MD5File函数的封装
Spark作业信息的获取
ASIN的专栏
06-09 8747
提前说明 本文仅讨论运行在Yarn模式下作业信息的获取，至于获取其它模式下的作业信息，请见参考博文1。 官方文档见Spark1.6.1–Monitoring and Instrumentation。 作业信息的查看正在运行作业一般作业运行后，可打开http://<driver-node>:4040查看正在运行作业的情形，如下所示， 历史作业查看打开spark-defaults.conf文件，增加如
spark history server 单独部署,作为微服务提供日志服务
mtj66的博客，交流WX:SpringBreeze1104
06-06 953
场景: 在spark history server部署的时候,一般在生产机器上,但是开发,或者是测试的时候,如果要做网络隔离,你就无法看到生产上的日志了, 如果开放VPN访问生产集群,也是可以的,但是现在不开放了,如何解决查看spark日志的问题. 打开history server的源代码:org.apache.spark.deploy.history.HistoryServer看个究竟. ...
Spark History Server 架构原理介绍
u013332124的专栏
03-08 5083
文章目录一、eventLog日志文件以及相关参数eventLog日志文件介绍相关配置参数二、两个定时任务解析eventLog日志文件线程清理过期的eventLog日志文件的线程三、History Server的架构缓存机制四、一些潜在的问题1. spark.history.retainedApplications 设置太大导致的OOM问题2. eventLog 日志文件过大导致的OOM问题3. H...
Spark 线程问题、日志文件过大
搬砖の隔壁老王
06-16 1246
1. Spark 线程问题 实时服务器部署着多个Spark和Flink实时任务,Spark任务运行一段时间后发现几个任务异常结束，将失败的任务重启。运行几分钟，发现本来运行正常的任务也异常结束，重启多次依旧如此。开始怀疑是集群资源不足造成了，查看CM中 Yarn的资源池发现资源充足，接着查看运行失败任务的日志，发现共同异常：unable to create new native thread 出现问题找根本原因，于是就问了度娘，解决方法如下： 1、查看系统线程数 ulimit -u 这是修改后的，修改
shell定时删除spark的applicationHistory历史文件
mtj66的博客，交流WX:SpringBreeze1104
06-01 4157
删除很简单,但是不能删除一些正在运行的程序的日志,尤其是spark streaming 的日志文件,一旦删除无法再生,以后想查日志都难.下面的脚本实现删除一个月之前的spark application的历史文件,记录下,大伙可以参考修改使用.#! /bash # delete 30 day's before spark history logs ######################...
Spark 3.0 终于支持 event logs 滚动了
过往记忆大数据
03-09 2046
背景相信经常使用 Spark 的同学肯定知道 Spark 支持将作业的 event log 保存到持久化设备。默认这个功能是关闭的，不过我们可以通过 spark.eventLog.ena...
Spark-1.6.0之Application运行信息记录器JobProgressListener
weixin_30500289的博客
07-05 243
　　JobProgressListener类是Spark的ListenerBus中一个很重要的监听器，可以用于记录Spark任务的Job和Stage等信息，比如在Spark UI页面上Job和Stage运行状况以及运行进度的显示等数据，就是从JobProgressListener中获得的。另外，SparkStatusTracker也会从JobProgressListener中获...
Spark history server 遇到的一些问题
weixin_30640291的博客
11-05 910
最近学习Spark，看了一个视频，里面有提到启动spark后，一般都会启动Spark History Server。视频里把 spark.history.fs.logDirectory 设置成了Hadoop上一个目录。配置的是hdfs://ubuntu1:9000/spark 啥的。我原来搭建的Hadoop是HA的，肯定不能这么写。我心血来潮，把hadoop HA改回了集群模式。这...
gitlab fails to push some refs
11-25
project = Project.find_by_path("path/to/project") user = User.find_by_username("username") project.team.member?(user) ``` 如果返回false，则用户没有推送到该存储库的权限。 2.检查存储目录权限：确保存储...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值