Flink HistoryServer配置

最新推荐文章于 2025-06-25 10:22:14 发布

missingMuMu

最新推荐文章于 2025-06-25 10:22:14 发布

阅读量2.8k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Flink 文章标签： Flink HistoryServer

本文链接：https://blog.youkuaiyun.com/missingMuMu/article/details/95601391

Flink 专栏收录该内容

3 篇文章

订阅专栏

本文介绍了Flink的HistoryServer，其主要用于存储和查看任务历史记录，可参考官网获取具体信息。同时分析了相关参数配置，如conf/flink-conf.yaml文件中的jobmanager.archive.fs.dir和historyserver.archive.fs.dir等，还指出historyserver是独立进程，且historyserver.archive.fs.refresh - interval时间间隔似乎不起作用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

flink的HistoryServer主要是用来存储和查看任务的历史记录，具体信息可以看官网：

https://ci.apache.org/projects/flink/flink-docs-release-1.8/monitoring/historyserver.html

下面主要分析一下参数配置：

conf/flink-conf.yaml文件

jobmanager.archive.fs.dir: hdfs://192.16.44.28:8020/flink/v1.0copy/completed-jobs/

# The address under which the web-based HistoryServer listens.
historyserver.web.address: 0.0.0.0

# The port under which the web-based HistoryServer listens.
historyserver.web.port: 8088

# Comma separated list of directories to monitor for completed jobs.
historyserver.archive.fs.dir: hdfs://192.16.44.28:8020/flink/v1.0copy/completed-jobs/,hdfs://192.16.44.28:8020/flink/v1.0copy/h-completed-jobs/,hdfs://192.16.44.28:8020/flink/completed-jobs/

# Interval in milliseconds for refreshing the monitored directories.
historyserver.archive.fs.refresh-interval: 1000
#

jobmanager.archive.fs.dir 目录flink会自动创建，并将已完成的任务上传到此目录

historyserver.archive.fs.dir目录必须已存在，可以是多个，以逗号分隔，这些目录里的任务是最终在UI上显示出来的，其它集群的flink任务目录也可以写在这里。

historyserver是相对flink独立的进程，只是用到了flink的配置文件，flink集群未启动，也可以使用historyserver.

另外，historyserver.archive.fs.refresh-interval这个时间间隔貌似不起作用，任务显示花费的时间很长。