【MapReduce】Streaming Job Failed!

最新推荐文章于 2019-12-11 13:29:17 发布

原创

最新推荐文章于 2019-12-11 13:29:17 发布 · 4.4k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#python #mapreduce #hadoop

在尝试运行一个使用Python编写的MapReduce程序时，在Hadoop环境中遇到错误。经过检查，发现错误可能源于MR脚本、环境配置或jar包问题。最终通过查找正确的hadoop-streaming.jar位置并更新jar包解决了问题。经验总结指出，ClassNotFound异常可能是jar包与环境不匹配，且查看运行日志对于定位问题至关重要。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

报错发生情况：

用Python写好了一个MR程序，使用Linux环境本地测试正常。
在Hadoop环境上测试就报错。

我的环境：

$hadoop version
Hadoop 2.5.2
...

执行指令：

hadoop jar $HADOOP_INSTALL_HOME/contrib/streaming/hadoop-*streaming*.jar   \
-file ./mapper.py -mapper ./mapper.py \
-file ./reducer.py -reducer ./reducer.py \
-input /data/poem/data_test \
-output /data/poem/result

报错信息:

packageJobJar: [mapper.py, reducer.py] [] /tmp/streamjob4957099323859594325.jar tmpDir=null
17/04/13 15:10:52 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
17/04/13 15:10:53 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
17/04/13 15:10:56 INFO mapred.FileInputFormat: Total input paths to process : 2
17/04/13 15:10:56 INFO mapreduce.JobSubmitter: number of splits:2
17/04/13 15:10:57 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1492067422224_0001
17/04/13 15