Output directory hdfs://hadoop:8020/user/root/output already exists

最新推荐文章于 2021-08-02 13:40:56 发布

原创最新推荐文章于 2021-08-02 13:40:56 发布 · 7.4k 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #hdfs

大数据同时被 2 个专栏收录

18 篇文章

订阅专栏

cdh

5 篇文章

订阅专栏

本文介绍了解决Hadoop MapReduce任务中遇到的输出目录已存在错误的方法。通过使用HDFS命令来检查和删除重复的输出目录，确保MapReduce任务能够顺利执行。

异常提示：

 ERROR tool.ImportTool: Import failed: org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://hadoop:8020/user/root/output already exists

解决方案：

这是因为每次MR都会生成一个output目录但是不能自动删除，所以我们就把HDFS的输出目录删除：

hadoop fs -ls -R:查看目录

hadoop fs -rmr output:删除输出目录

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

乱纪元也不脱水

关注关注

2
点赞
踩
8

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

【hadoop】Hadoop Output directory file output already exists

九师兄

10-10

1003

文章目录1. 概述 1. 概述本地想大家一个hadoop，然后报错如下 Hadoop都启动不了。参考https://blog.youkuaiyun.com/king_weng/article/details/109579384 我只想搞个单机版的Hadoop 这种模式部署然后就起不来了后来加了一个参数 classloader.check-leaked-classloader: false 这个配置加了竟然好了，但是不理解这个配置有什么用 ...

sqoop报错Output directory hdfs://mihaoyu151:9000/user/root/student already exists

qq_51903852的博客

11-23

1342

错误日志 ERROR tool.ImportTool: Encountered IOException running import job: org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://mihaoyu151:9000/user/root/student already exists [root@mihaoyu151 ~]# sqoop import \ > --connect jdbc:my

参与评论您还未登录，请先登录后发表或查看评论

FileAlreadyExistsException: Output directory output already exists 解决办法

dh15303249535的博客

02-28

1386

Hadoop 伪分布式环境时运行wordcount程序，之前已经运行过一次，再次将input文件夹中的内容上传至HDFS时会出现重复，但是还是可以上传成功。但是当再次运行wordcount程序时就会报错：可以看到导致错误的原因时HDFS中的output文件夹已经存在了，所以必须要删除。（因为outout文件夹是由hadoop自动生成的，所以会报错）于是查看HDFS： ...

Hadoop 运行常见问题【图文】

03-08

5295

Table of Contents Output directory filealready exists Output directory filealready exists 问题描述在运行hadoop程序时，程序报错“Output directory file:XXX already exists”， XXX是之前指定的output目录。原因分析 hadoop 运行时...

从代码上解决Output directory already exists错误，避免每次调试都要手动删除输出文件夹...

weixin_34174132的博客

11-05

2486

// 判断output文件夹是否存在，如果存在则删除 Path outPath = new Path("hdfs://192.168.9.13:8020/meanwhileFind");// 输出路径 FileSystem fs = outPath.getFileSystem(conf);// 根据输出路径找到文件,参数为配置文件 if (fs.exists(ou...

关于Hadoop环境下Mapreduce解决Output directory already exists错误，避免每次调试都要手动删除输出文件夹

pankhong blog

03-23

2626

public class Sort { public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException { String[] path = { "hdfs://localhost:9000/user/...

hadoop遇到Output directory hdfs://iflytek01:9000/test/output already exists

qq_41621174的博客

10-30

2882

hadoop遇到Output directory hdfs://iflytek01:9000/test/output already exists的解决方案问题描述： [root@iflytek01 ~]# hadoop jar /datas/wordcount02.jar TestReduce.WordCount /test/hdfs02.txt /test/output/ 19/10/30 ...

sqoop import --connect jdbc:mysql://localhost:3306/test1 --username root --password root --table article --hive-import --hive-table testERROR tool.ImportTool: Encountered IOException running import job: org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://hadoopMaster:9000/user/hadoop/article already exists at org.apache.hadoop.mapreduce.lib.output.FileOutputFormat.checkOutputSpecs(FileOutputFormat.java:164) at org.apache.hadoop.mapreduce.JobSubmitter.checkSpecs(JobSu

05-24

你可以尝试指定一个新的输出目录，或者删除已经存在的输出目录（hdfs://hadoopMaster:9000/user/hadoop/article），再重新运行命令。如果你确定不需要已经存在的输出目录，可以使用以下命令删除它： ``` hadoop fs ...

解决output directory already exists

weixin_45019417的博客

06-30

3717

解决output directory already exists的问题在eclipse里面运行Hadoop，报错文件已经存在 package myMapReduce; import java.io.BufferedReader; import java.io.FileReader; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; import java.util.HashMap;

Output directory hdfs://hadoop01:8020/appendresult already exists

hongchenshijie的博客

12-05

1351

报错详情: 报错原因输出目录已经存在解决办法删掉存在的目录,或者更换输出目录

【Mapreduce】从代码上解决Output directory already exists错误

我壮着胆子再问一遍冬雪枫花

03-10

4030

Mapreduce调试很蛋疼的，它不会覆盖上一次输出的结果，如果发现输出文件夹已经存在，比如我的调试输出文件夹是hdfs://192.168.230.129:9000/output，它会直接给你报如下错误： [plain] view plain copy print?Exception in thread “main” org.apache.hado...

【sqoop】使用sqoop将mysql表导入hive报错Output directory already exists

debimeng

10-04

2690

使用sqoop将mysql表导入hive报错Output directory hdfs://hadoop:9820/user/hadoop/${target_dir} already exists 场景：使用sqoop将mysql表导入hive报错如下： ERROR tool.ImportTool: Import failed: org.apache.hadoop.mapred.FileAlr...

Hadoop运行错误 - Output directory hdfs://master:9000/output already exists

热门推荐

qq_38789531的博客

11-06

1万+

运行hadoop出现以下问题： [its312@master bin]$ hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.0.jar wordcount /input /output 2018-11-06 21:31:12,192 INFO client.RMProxy: Co...

sqoop:导入问题：FileAlreadyExistsException: Output directory hdfs://ambari1:8020/user/hdfs/THTF_TABLE_AI

shileimohan的专栏

08-08

739

hadoop fs -ls -R：可查看目录。 hadoop fs -rmr output:删掉输出文件。 MapReduce执行是不允许输出目录存在的，自动创建！

Spark在从HDFS上读取文件运行，然后将运行后文件保存到hdfs上流程

qq_44881930的博客

08-02

1325

1、提交代码首先将Python代码上传到对应目录，然后用 spark-submit 命令提交代码。 ./bin/spark-submit ./pythonProgram/spark_hello.py hdfs://hadoop102:8020/b.txt./bin/spark-submit ./pythonProgram/spark_hello.py hdfs://hadoop102:8020/b.txt python代码如下： from pyspark import SparkContext, Sp

初探大数据-YARN架构分析-实战四

lenostalhj的博客

03-02

366

YARN架构1 RM(ResourceManager) + N NM(NodeManager)ResourceManager的职责：一个集群active状态的RM只有一个，负责整个集群的资源管理和调度1）处理客户端的请求(启动/杀死)2）启动/监控ApplicationMaster(一个作业对应一个AM)3）监控NM4）系统的资源分配和调度NodeManager：整个集群中有N个，负责单个节点的...

Hadoop 输出目录已经存在报错解决方法

tiantao2788540的专栏

03-29

2707

<br /><br />前一段时间刚开始学习用Hadoop，在输出的时候，每运行一次就要把输出目录给删了，否则就会抛异常。后来就查看Hadoop源码，自定义OutputFormat ，然后重写 checkOutputSpecs 方法，在FileOutputFormat 里面，这个方法会检查输出目录是否存在，如果存在就直接抛异常。

Hadoop Output directory hdfs://localhost:9000/input already exists

D1124615130的博客

05-22

5944

首先我的主类是放在com.test包下，运行hadoop jar WordCount.jar WCRunner /input /output时，WCRunner应该写全类名com.test.WCRunner，但我没有，导致报错找不到主类，以为是要打jar包时指定主类，于是我在eclipse打包时指定了主类，再次运行就遇到这个错误，看了好几篇博客都不能解决这个问题。 ``java Output directory hdfs://localhost:9000/input already exists 解决办法

Hadoop安装教程_单机/伪分布式配置

weixin_30432579的博客

01-14

1540

环境本教程使用CentOS 6.4 32位作为系统环境，请自行安装系统（可参考使用VirtualBox安装CentOS）。如果用的是 Ubuntu 系统，请查看相应的Ubuntu安装Hadoop教程。本教程基于原生 Hadoop 2，在Hadoop 2.6.0 (stable)版本下验证通过，可适合任何 Hadoop 2.x.y 版本，例如 Hadoop 2.7.1, Hadoo...