hadoop pipes 中遇到问题

最新推荐文章于 2021-06-30 02:14:38 发布

yinzhiqing

最新推荐文章于 2021-06-30 02:14:38 发布

阅读量972

点赞数

CC 4.0 BY-SA版权

分类专栏：技术文档文章标签： hadoop

本文链接：https://blog.youkuaiyun.com/yinzhiqing/article/details/51539753

技术文档专栏收录该内容

43 篇文章

订阅专栏

本文介绍了一个使用C++实现的MapReduce程序遇到的错误及其解决方案。主要问题是由于命令参数配置不当导致的管道子异常错误。文章提供了正确的执行命令格式，并强调了几个需要注意的细节。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

c++实现的mapreduce代码没有问题，执行指令时候提示如下

16/05/30 17:43:33 INFO mapreduce.Job: Task Id : attempt_1464593740608_0013_m_000002_0, Status : FAILED
Error: java.io.IOException: pipe child exception
        at org.apache.hadoop.mapred.pipes.Application.abort(Application.java:226)
        at org.apache.hadoop.mapred.pipes.PipesMapRunner.run(PipesMapRunner.java:102)
        at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:453)
        at org.apache.hadoop.mapred.MapTask.run(MapTask.java:343)
        at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:164)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:415)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657)
        at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)
Caused by: java.io.EOFException
        at java.io.DataInputStream.readByte(DataInputStream.java:267)
        at org.apache.hadoop.io.WritableUtils.readVLong(WritableUtils.java:308)
        at org.apache.hadoop.io.WritableUtils.readVInt(WritableUtils.java:329)
        at org.apache.hadoop.mapred.pipes.BinaryProtocol$UplinkReaderThread.run(BinaryProtocol.java:125)