org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist

最新推荐文章于 2022-06-01 14:41:11 发布
最新推荐文章于 2022-06-01 14:41:11 发布
阅读量345 收藏
点赞数 1
CC 4.0 BY-SA版权
文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_39214610/article/details/91347740
本文介绍了一次在使用Hadoop进行数据清洗时遇到的字符集问题，具体表现为data-clean.jar打包时未指定utf-8字符集导致运行时报错。通过在IDE中设置正确的字符集并重新打包，成功解决了这一问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

我的是跑数据清洗 报错执行的命令是

/root/apps/hadoop-2.8.5/bin/hadoop jar /root/data-clean/data-clean.jar cn.edu360.app.log.mr.AppLogDataClean $inpath $outpath

错误原因是我的 data-clean.jar 打包的时候没有指定字符集  utf-8

打开ide项目工程 然后指定字符集 然后继续跑就不报错了

易寻
关注
Hadoop on Mac with IntelliJ IDEA - 1 解决input path does not exist问题
weixin_30781631的博客
08-07 1317
本文讲述使用IntelliJ IDEA时遇到Hadoop提示input path does not exist（输入路径不存在）的解决过程。 环境：Mac OS X 10.9.5, IntelliJ IDEA 13.1.4, Hadoop 1.2.1 Hadoop放在虚拟机中，宿主机通过SSH连接，IDE和数据文件在宿主机。 这是自学Hadoop的第三天。以前做过点.NET开发，Mac、In...
Hadoop Mapreduce Error Input path does not exist: hdfs://localhost:54310/user/hduser/input"
wscrf的博客
04-12 3418
org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://localhost:54310/user/hduser/inputhduser@krishadoop:/usr/local/hadoop/sbin$ hadoop jar /usr/local/hadoop/s...
org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist
foradawn的博客
04-29 4067
idea下远程调试hadoop程序一直报路径不存在。。。找了好久，然后一直认为路径是正确的，然而。。。 我们在hdfs系统中直接建立文件后，可能误以为这个路径就是相对路径，事实上并不是 使用hdfs dfs -ls / 查看当前目录可以知道当前的相对路径是什么 这个路径困扰了一下午。。。好想哭。。。无语。。。...
错误：org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://lo
qq_53269459的博客
02-01 1万+
org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: 异常 Input path does not exist异常分析 描述： 在自定义实现编译运行 WordCount 的时候，本地hadoop中已经存在已包含内容的input文件，执行 jar 操作 bin/hadoop jar workspace/WordCount.jar WordCount input1 output的时候，出现以
hadoop异常： org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exit
蒯厅博客
03-24 4809
出现原因：集群有要操作的目录或者文件但是本地没有吧路径写全造成的。 其次是集群获取分布式文件系统没有做配置，默认是本地（你电脑下的路径） 所以分布式系统找不到路径。 设置如下图： 以WordCount 为例 最终结果如下 ...
Hadoop 运行Java时发生异常：org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not
分享我的点点滴滴，在成长路上与你同行！
06-01 1540
Java远程到集群上，统计单词！
org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://mycluster/user/hive/warehouse/kaggle_olist.db/ads_geolocation_city_order at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.singleThreadedListStatus(FileInputFormat.java:329) 解释
最新发布
06-17
| `Input path does not exist` | 执行步骤1和步骤5 | | `Permission denied` | 执行步骤2 | | `Invalid hostname` | 检查集群名称是否匹配步骤4 | | `File does not exist` | 验证Hive表LOCATION属性 | 通过以上...
Exception in thread "main" org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: file:/D:/input/hello.txt
05-30
这个错误是因为 Hadoop 找不到输入路径 `/D:/input/hello.txt`。你需要确认输入路径是否正确，以及文件是否存在。如果输入路径正确，但文件不存在，那么你需要创建这个文件，或者修改输入路径，使其指向已经存在的...
[root@hadoop04 ~]# hadoop jar film1.jar CleanDriver -D mapreduce.job.summary.log.level=DEBUG /film/input /film/outputs/cleandata 25/03/15 14:57:08 INFO client.RMProxy: Connecting to ResourceManager at hadoop04/192.168.100.104:8032 25/03/15 14:57:08 WARN mapreduce.JobResourceUploader: Hadoop command-line option parsing not performed. Implement the Tool interface and execute your application with ToolRunner to remedy this. 25/03/15 14:57:10 INFO mapreduce.JobSubmitter: Cleaning up the staging area /tmp/hadoop-yarn/staging/root/.staging/job_1742021469568_0001 Exception in thread "main" org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://hadoop04:9000/user/root/CleanDriver at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.singleThreadedListStatus(FileInputFormat.java:323) at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.listStatus(FileInputFormat.java:265) at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.getSplits(FileInputFormat.java:387) at org.apache.hadoop.mapreduce.JobSubmitter.writeNewSplits(JobSubmitter.java:301) at org.apache.hadoop.mapreduce.JobSubmitter.writeSplits(JobSubmitter.java:318) at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:196) at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290) at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:422) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1762) at org.apache.hadoop.mapreduce.Job.submit(Job.java:1287) at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1308) at CleanDriver.main(CleanDriver.java:35) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.apache.hadoop.util.RunJar.run(RunJar.java:226) at org.apache.hadoop.util.RunJar.main(RunJar.java:141) [root@hadoop04 ~]#
03-16
嗯，用户在执行Hadoop作业的时候遇到了问题，报错是Input path does not exist。我需要仔细看看这个错误信息。首先，用户运行的命令是： hadoop jar film1.jar CleanDriver -D mapreduce.job.summary.log.level=...
错误Exception in thread “main“ org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path
m0_60318777的博客
11-18 6426
原因 在使用 Eclipse 运行 MapReduce 程序时，会读取 Hadoop-Eclipse-Plugin 的 Advanced parameters 作为 Hadoop 运行参数，如果我们未进行修改，则默认的参数其实就是单机参数，因此程序运行时是读取本地目录而不是 HDFS 目录，就会提示 Input 路径不存在。 解决办法 在项目的src下加入core-site.xml和hdfs-site.xml两个文件，以及 log4j.properties 复制到 WordCount 项目下的 src
org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist:
Anders 的专栏(Talk is cheap, show me the code！)
04-29 1万+
一个Hadoop小程序：将Hello world写入文件中，简要代码： public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = new Job(conf,"demo"); job.setJarByClass(HelloWo
InvalidInputException: Input path does not exist 解决办法
dh15303249535的博客
02-28 3596
遇到的问题如下： 错误原因是HDFS还没有把这个input文件夹加入。 敲入命令并查看HDFS： 问题解决。 转载于:https://www.cnblogs.com/Murcielago/p/4305730.html...
eclipse运行出现org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist错误
qq_44796583的博客
10-22 1787
问题出现场景 org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://localhost:54310/user/ooxx/input org.apache.hadoop.mapreduce.lib.input.FileInputFormat.singleThread...
hadoop异常： org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exi
热门推荐
wen3011的博客
02-07 2万+
在安装idea的hadoop开发环境的时候，环境安装完后，运行出现以下错误： Exception in thread "main" org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: 这个提示了找不到文件，所以解决步骤如下： 1）确认下集群上的HDFS系
解决错误：org.apache.hadoop.mapreduce.lib.input.InvalidInputException:
zhaoyu410186459的博客
01-11 5158
**错误信息：**Exception in thread “main” org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://192.168.127.11:9000/root/data/a.txt **描述：**找了老半天，网上也有说是9000端口被占用。其实都...
【Hadoop】出错：org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist
菜鸟sdut的博客
09-05 9144
简介 在一次运行MR任务的时候，使用hadoop jar 或者 yarn jar都可以正常运行，但是使用java -cp的时候就总是出现Exception in thread "main" org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: file:/wordcount/w...
org.apache.hadoop.mapreduce.lib.input.InvalidInputException:input path does not exist:hdfs://10.0.2.
z278718149的专栏
04-01 1435
org.apache.hadoop.mapreduce.lib.input.InvalidInputException:input path does not exist:hdfs://10.0.2.15:9000/user/zhaoainan/input 经过上网查阅知道input目录没加入到hdfs中去 命令为：hadoop fs -put conf input
Exception in thread “main“ org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path d
nofuck的博客
12-01 2589
hadoop jar hadoop2.jar WordCountMapReduce hdfs://master:9000/input/test3.txt hdfs://master:9000/output1 20/12/01 21:38:00 INFO client.RMProxy: Connecting to ResourceManager at /192.168.136.128:8032 20/12/01 21:38:00 WARN mapreduce.JobResourceUploader: Had.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值