Windows本地运行MapReduce报错 java.lang.Exception: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleE

原创

已于 2025-07-09 01:52:13 修改 · 571 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#windows #mapreduce #java

于 2023-11-12 23:33:28 首次发布

本文讲述了在本地开发Hadoop时遇到的ShuffleError，源于core-site.xml中的hadoop.tmp.dir配置问题，Windows系统中包含非法字符（如Mr.Y中的.）导致文件路径解析失败。解决方法是修改core-site.xml中的临时目录配置。

在本机编写了 Hadoop的 Driver、Mapper、Reducer后，运行时报错：
java.lang.Exception: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in localfetcher#1
   at org.apache.hadoop.mapred.LocalJobRunner$Job.runTasks(LocalJobRunner.java:492)
   at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:559)
Caused by: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in localfetcher#1
   at org.apache.hadoop.mapreduce.task.reduce.Shuffle.run(Shuffle.java:134)
   at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:377)
   at org.apache.hadoop.mapred.LocalJobRunner$Job$ReduceTaskRunnable.run(LocalJobRunner.java:347)
   at java.base/java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:515)
   at java.base/java.util.concurrent.FutureTask.run(FutureTask.java:264)
&nb

最低0.47元/天解锁文章