【spark】一 spark on yarn的日志查看

最新推荐文章于 2025-06-02 16:23:56 发布

百物易用是苏生

最新推荐文章于 2025-06-02 16:23:56 发布

阅读量4.7k

点赞数

CC 4.0 BY-SA版权

分类专栏： spark

本文链接：https://blog.youkuaiyun.com/u010720408/article/details/89315599

本文介绍了在Spark on YARN（Ambari + Zeppelin）环境下查看日志的四种方法，包括通过YARN的Hadoop端口页面、Spark History UI、Zeppelin的Shell配置以及YARN命令查看。详细阐述了不同方式下的URL、端口和配置信息，帮助解决日志查看过程中的安全和端口映射问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

spark on yarn (ambari + zeppelin)查看日志 (安全因素，端口映射不够用)

日志四种方式：

①yarn 的 hadoop的端口页面 url(ip:8084/cluster/app/application_15xxxx_001) 中

		可看到Log下面 带连接：xxhost:8042/node/containerlogs/container_e09_application_15xxx_001_01_001/zeppelin
		换乘xxhost对应ip后 就又跳转一边url(xxxxhost2:19888/jobshistory/xxxhost3:4545******/zeppelin) 反正没走通，生产上也开不了这么多端口

②spark history ui来查看：

一：正在运行的，可通过zeppelin 的spark interpret 中的spark ui连接，xxxhost:4040 ,
替换xxxhost后再跳转到xxxhost2::8084/proxy/redirect/application_15xxx_001就可以卡看ui了，但是生产商没有该映射 (端口配置可改，一般不改)

二：已运行并stop的 sparkContext，可在spark history所在机器ip:18081 （端口配置可改，一般不改）可看到最近的job history list，点进去一个个看便是，这也是通常所示的spark ui
#spark.history.ui.port=18081
#spark.yarn.historyService.address={ {spark_history_server_host}}：{ {spark_history_u