处理MapReduce中的报错Exception in thread "main" java.lang.IllegalArgumentException: java.net.URISyntax

最新推荐文章于 2022-04-24 08:59:05 发布

原创最新推荐文章于 2022-04-24 08:59:05 发布 · 2.2k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #mapreduce #wordcountclient

mapreduce 专栏收录该内容

2 篇文章

订阅专栏

本文分享了在使用Hadoop MapReduce进行离线代码编写时遇到的路径配置错误及解决方案。作者最初将输入输出路径设置为本地路径，导致程序无法在Hadoop集群上正确运行。通过调整代码，将路径更改为HDFS上的绝对路径，成功解决了问题。

写好MapReduce线下代码后,生成 example-mr-1.2.jar包上传并解压运行,如下:
[root@bigdata01 ~]# hadoop jar example-mr-1.2.jar
Exception in thread “main” java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: D:%5Cinput

认真看了报错后,发现,错误来自MAIN方法中的本地路径无法读取,查看代码后,发现WordCountClient文件中:
FileInputFormat.addInputPath(job, new Path(“D:\input”));
FileOutputFormat.setOutputPath(job, new Path(“D:\output”));
里面的代码被我写到了本地路径,所以hadoop无法读取,于是修改如下:
FileInputFormat.addInputPath(job, new Path("/wordcount/input"));
FileOutputFormat.setOutputPath(job, new Path("/wordcount/output"));
恢复后重新打开maven建包,然后上传输入:
hadoop jar example-mr-1.2.jar;
这次果然成功!