Flink error:File or directory data/output already exists. Existing files and directories are not ...

最新推荐文章于 2023-02-06 16:10:40 发布

RayBreslin

最新推荐文章于 2023-02-06 16:10:40 发布

阅读量2.2k

点赞数 1

分类专栏： Flink 文章标签： Flink WriteMode scala

本文链接：https://blog.youkuaiyun.com/u010886217/article/details/103380660

版权

Flink 专栏收录该内容

16 篇文章

订阅专栏

本文解析了Flink在sink到本地目录时遇到的File or directory already exists错误，详细介绍了问题的原因在于默认不覆盖已存在的文件或目录，并提供了两种解决方案：一是删除目标目录，二是使用覆盖模式进行写入。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、问题描述

flink在sink到本地目录的时候，报错：

09:12:19,166 INFO  org.apache.flink.runtime.executiongraph.ExecutionGraph        - Job DataSet Sink (5e5507e2029038a82605e0ffd0ff4a14) switched from state FAILING to FAILED.
java.io.IOException: File or directory data/output already exists. Existing files and directories are not overwritten in NO_OVERWRITE mode. Use OVERWRITE mode to overwrite existing files and directories.
    at org.apache.flink.core.fs.FileSystem.initOutPathLocalFS(FileSystem.java:773)
    at org.apache.flink.core.fs.SafetyNetWrapperFileSystem.initOutPathLocalFS(SafetyNetWrapperFileSystem.java:137)
    at org.apache.flink.api.common.io.FileOutputFormat.open(FileOutputFormat.java:227)
    at org.apache.flink.api.java.io.TextOutputFormat.open(TextOutputFormat.java:88)
    at org.apache.flink.runtime.operators.DataSinkTask.invoke(DataSinkTask.java:202)
    at org.apache.flink.runtime.taskmanager.Task.run(Task.java:704)
    at java.lang.Thread.run(Thread.java:745)

二、问题原因

代码中的目录已经存在，而写操作writeAsText默认不覆盖之前的文件或者文件夹，所以导致报错。

val filepath="data//output"
text.writeAsText(filepath)

三、解决办法

1.方法一：删除目录
2.方法二：添加覆盖的参数

val filepath="data//output"
text.writeAsText(filepath,FileSystem.WriteMode.OVERWRITE)