Flink web.upload.dir-优快云博客

探讨Flink中常被忽略的web.upload.dir参数，解释其默认行为及潜在问题，尤其是在JobManager切换时可能导致的jar包丢失。文章提出通过NFS挂载共享目录作为解决方案，确保在高可用环境下，无论JobManager如何变化，上传的包始终可见。

好像很少有人谈论这个参数，基本被忽略了，这个参数是Flink少数不能设置为HDFS的参数，默认的web.upload.dir是在web.tmpdir目录下。以下是官方给出的2个参数的含义：

web.tmpdir
System.getProperty("java.io.tmpdir")	Flink web directory which is used by the webmonitor.
web.upload.dir
(none)	Directory for uploading the job jars. If not specified a dynamic directory will be used under the directory specified by JOB_MANAGER_WEB_TMPDIR_KEY.

放在tmp目录先肯定是有问题，一旦机器重启，可能所有上传的包都丢失了。你可能会修改这个参数为一个永久目录，即使如此还是有问题，今天就是谈论这个问题。

web.upload.dir既然不是HDFS共享目录，那就肯定是本地目录了，这个本地目录根据你的job manager是哪一台机器，就上传到哪一台机器的web.upload.dir.

按照上面的推测，一旦发生job manager切换，那之前你上传的包，在新的job manager上是看不到的。这可不是我们想要看到的结果。如果你使用的是yarn-session.sh启动模式，所有的node manager都有可能是job manager. 如果你用standalone HA同样道理，一旦切换上传的包就看不到了。

解决这个问题用NFS比较好，这样所有的job maanager挂载这个目录，不管你怎么切换，都能看到web.upload.dir里的包。