spark history server 单独部署,作为微服务提供日志服务

最新推荐文章于 2025-03-10 20:18:30 发布

mtj66

最新推荐文章于 2025-03-10 20:18:30 发布

阅读量897

点赞数

分类专栏： spark

本文链接：https://blog.youkuaiyun.com/mtj66/article/details/91043613

版权

spark 专栏收录该内容

40 篇文章 ¥19.90 ¥99.00

订阅专栏

本文探讨了如何在开发和测试环境中单独部署Spark History Server，以解决网络隔离下查看Spark日志的问题。通过分析History Server的源代码，了解到其可以从本地或HDFS读取日志。对于历史日志，可以直接从HDFS拉取；对于正在运行的日志，可以通过API向生产环境的Spark服务请求实时更新。此外，还提到了Spark的REST API用于监控应用程序，并提供了示例请求。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

场景:

在spark history server部署的时候,一般在生产机器上,但是开发,或者是测试的时候,如果要做网络隔离,你就无法看到生产上的日志了,

如果开放VPN访问生产集群,也是可以的,但是现在不开放了,如何解决查看spark日志的问题.

打开history server的源代码:org.apache.spark.deploy.history.HistoryServer看个究竟.

发现运行需要一些参数 --properties-file

一般是: --properties-file spark-history-server.conf

more spark-history-server.conf #配置主要是一些日志路径

spark.driver.log.dfsDir=/tmp/spark/driverLogs
spark.history.fs.cleaner.enabled=true
spark.history.fs.cleaner.interval=86400
spark.history.fs.cleaner.maxAge=604800
spark.history.fs.update.interval.seconds=10
spark.history.retainedApplications=50
spark.history.store.maxDiskUsage=10737418240
spark.history.store.path=/tmp/spark/his

了解本专栏