Streaming中subprocess failed with code 错误

最新推荐文章于 2024-05-20 13:55:46 发布

iteye_13434

最新推荐文章于 2024-05-20 13:55:46 发布

阅读量589

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop 文章标签： hadoop streaming pig apache python

本文链接：https://blog.youkuaiyun.com/iteye_13434/article/details/82396605

hadoop 专栏收录该内容

1 篇文章

订阅专栏

本文记录了解决使用Python执行Hadoop Streaming时遇到的子进程错误问题，发现原因是集群环境中Python脚本执行路径不一致。通过将脚本路径声明为`#!/usr/bin/env python`并确保其位于`/usr/bin`目录下，成功解决了环境问题导致的错误。此解决方案适用于遇到类似错误码的用户。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

这两天在执行hadoop streaming （用的脚本是python），一直出现subprocess failed with code 这个错误，看了streaming 源码，上面写的是系统抛出的异常，但是怎么也搞不明白为什么系统会抛出异常呢？百思不得其解啊！看了http://taoo.iteye.com/blog/1486650这个博客给我了一点提醒，原来是python问题，集群中环境不一致导致的。

把这个问题记下来吧，以备以后查阅。

hadoop streaming pyhton 时候出现：subprocess failed with code 127，code 后面错误码不管是什么，都是脚本环境的问题

在python脚本里面声明的：#!/usr/bin/env python，这里声明了位置，所以必须要放到 /usr/bin 下面，才能有效。

python 执行程序必须放到 /usr/bin 下面，在环境变量的其他位置不管用。

/usr/bin/env: python: No such file or directory

java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 127

        at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:362)

        at org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:576)

        at org.apache.hadoop.streaming.PipeMapper.close(PipeMapper.java:135)

        at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:57)

        at org.apache.hadoop.streaming.PipeMapRunner.run(PipeMapRunner.java:36)

        at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:436)

        at org.apache.hadoop.mapred.MapTask.run(MapTask.java:372)

        at org.apache.hadoop.mapred.Child$4.run(Child.java:255)

        at java.security.AccessController.doPrivileged(Native Method)

        at javax.security.auth.Subject.doAs(Subject.java:415)

        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121)

        at org.apache.hadoop.mapred.Child.main(Child.java:249)

这个主要是环境存在的问题，code后面的错误不管是几。都是streaming中执行某个脚本导致的。