以wordcount为例，将IDEA中的程序作业提交到HDFS集群或者伪分布式遇到的问题

最新推荐文章于 2024-06-10 12:34:14 发布

muyingmiao

最新推荐文章于 2024-06-10 12:34:14 发布

阅读量382

点赞数

分类专栏： Hadoop 文章标签： IDEA提交Job到集群

本文链接：https://blog.youkuaiyun.com/muyingmiao/article/details/100311725

版权

本文介绍了如何在Windows环境下使用IDEA进行MapReduce任务开发，特别是针对WordCount程序，详细讨论了遇到的IllegalArgumentException、用户权限问题和YARN服务不可用等问题的解决策略，包括配置XML文件、设置HADOOP_USER_NAME属性和添加YARN相关配置。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

之前很多人跑mapreduce任务只知道在在本地打成jar，提交到hadoop集群上去跑任务，如果出现错误往往很难定位错误，所以远程debug是开发中不可或缺的技能。通常大家都是在本地写好mapreduce任务，希望能在window环境下的IDEA中直接运行。
运行环境为：win7，IDEA2017.1.3
HDFS环境为VM虚拟机，hadoop伪分布式
以一个比较简单的wordcount为例子

遇到的坑
1. IllegalArgumentException

Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: hdfs://hadoop000:8020/hadoop/output, expected: file:///
	at org.apache.hadoop.fs.FileSystem.checkPath(FileSystem.java:662)
	at org.apache.hadoop.fs.RawLocalFileSystem.pathToFile(RawLocalFileSystem.java:82)
	at org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus(RawLocalFileSystem.java:593)
	at org.apache.hadoop.fs.RawLocalFileSystem.getFileLinkStatusInternal(RawLocalFileSystem.java:811)
	at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:588)
	at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:432)
	at org.apache.hadoop.fs.FileSystem.exists(FileSystem.java:1418)
	at com.wxx.bigdata.hadoop.utils.FileUtils.deleteTarget(FileUtils.java:16)
	at com.wxx.bigdata.hadoop.mapreduce.wc.WordCountHDFSApp.main(WordCountHDFSApp.java:32)

解决方案：把hadoop集群上的core-site.xml和hdfs-site.xml放到工程的src目录下或者在代码中添加 conf.addResource(newPath("/home/