Windows本地运行MapReduce报错 java.lang.Exception: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleE

Y_Aryan

已于 2025-07-09 01:52:13 修改

阅读量484

点赞数 1

CC 4.0 BY-SA版权

分类专栏：大数据文章标签： windows mapreduce java

于 2023-11-12 23:33:28 首次发布

本文链接：https://blog.youkuaiyun.com/Y_Aryan/article/details/134367987

本文讲述了在本地开发Hadoop时遇到的ShuffleError，源于core-site.xml中的hadoop.tmp.dir配置问题，Windows系统中包含非法字符（如Mr.Y中的.）导致文件路径解析失败。解决方法是修改core-site.xml中的临时目录配置。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在本机编写了 Hadoop的 Driver、Mapper、Reducer后，运行时报错：
java.lang.Exception: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in localfetcher#1
   at org.apache.hadoop.mapred.LocalJobRunner$Job.runTasks(LocalJobRunner.java:492)
   at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:559)
Caused by: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in localfetcher#1
   at org.apache.hadoop.mapreduce.task.reduce.Shuffle.run(Shuffle.java:134)
   at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:377)
   at org.apache.hadoop.mapred.LocalJobRunner$Job$ReduceTaskRunnable.run(LocalJobRunner.java:347)
   at java.base/java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:515)
   at java.base/java.util.concurrent.FutureTask.run(FutureTask.java:264)
&nb