Exception in thread "main" java.lang.IllegalArgumentException: Pathname is not a valid DFS filename

最新推荐文章于 2025-03-12 20:46:50 发布

原创最新推荐文章于 2025-03-12 20:46:50 发布 · 2.9k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop

hadoop 专栏收录该内容

10 篇文章

订阅专栏

本文详细介绍了在Windows环境下配置Hadoop2.6.0时遇到的路径名无效问题及解决方案。当本地运行MapReduce程序时，若直接使用本地路径如f:/wc/srcdata/作为输入或输出目录，可能会导致IllegalArgumentException异常。通过在路径前添加file:///前缀，如file:///f:/wc/srcdata/，可以避免此错误。

Exception in thread "main" java.lang.IllegalArgumentException: Pathname ...... is not a valid DFS filename

我在Windows上配置了Hadoop 2.6.0，我可以看到名称节点，数据节点，资源管理器和节点管理器正常运行，当我尝试运行其中一个mapreduce程序时，出现了上述问题。上网查了一些资料，最后我是这样解决的：

如果你在同一台机器上运行所有东西，你可以用一个文件引用它：URL，比如我之前在本地上运行mapreduce程序给的输入与输出地址是 “f:/wc/srcdata/ ”与 “f:/wc/output/ ”，可以在路径前加上“ file:///”，变成 "file:///f:/wc/srcdata/"与 "file:///f:/wc/output/"，这样改之后再运行就不会报这个错了。