spark web UI端口 4040,18080， 8080页面访问不了

最新推荐文章于 2025-01-12 19:38:25 发布

Ebaugh

最新推荐文章于 2025-01-12 19:38:25 发布

阅读量1.2w

点赞数 3

CC 4.0 BY-SA版权

分类专栏： spark 文章标签： spark UI 端口

本文链接：https://blog.youkuaiyun.com/AntKengElephant/article/details/86690685

spark 专栏收录该内容

21 篇文章

订阅专栏

本文详细介绍了如何配置和启动Spark History Server，包括修改spark-env.sh文件以启用事件日志，设置日志目录，以及如何在HDFS中创建存储目录。此外，还解释了如何通过配置Spark History Server选项来指定Web UI端口、缓存中保存的应用程序历史记录数量以及历史记录文件的存储目录。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

ip:4040无法访问时spark history server未启动或者暂时无spark任务运行

启动命令：

在主节点spark_home/sbin

./start-history-server.sh

注意：4040端口显示的是正在运行的spark任务，一旦任务运行完成或者没有任务运行，4040端口是无法访问的

ip:18080无法访问时spark history server未启动

spark history server可以查看所有的运行完成的spark任务的详情

Spark History Server配置

修改spark-env.sh

spark.eventLog.enabled true

spark.eventLog.dir hdfs://master:9000/spark-logs

spark.eventLog.compress true

2、在HDFS中建立存放目录。

hdfs dfs -mkdir /spark-logs

之后的历史记录都会被存放到这里。

3、配置spark-env.sh文件。

在之前的配置项后面

export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://master:9000/spark-logs

属性说明

(1) spark.history.ui.port

WebUI的端口号。默认为18080，也可以自行设置。

(2) spark.history.retainedApplications

设置缓存Cache中保存的应用程序历史记录的个数，默认50，如果超过这个值，旧的将被删除。

注：缓存文件数不表示实际显示的文件总数。只是表示不在缓存中的文件可能需要从硬盘读取，速度稍有差别。

(3) spark.history.fs.logDirectory

存放历史记录文件的目录。可以是Hadoop APIs支持的任意文件系统。

启动

[root@master sbin]# ./start-history-server.sh

如果提示文件目录无效，可以直接使用下面的命令指定目录：

[root@master sbin]# ./start-history-server.sh  hdfs://master:9000/spark-logs

启动后的效果如下（此时尚未运行程序，没有记录显示出来）：

master:可以改为对应的机器ip

显示效果

如果无任务运行4040端口无法访问。