在windows上提交任务linux上的hadoop集群

2019独角兽企业重金招聘Python工程师标准>>>

在hadoop2之前的版本上，我可以在window上提交job到linux的hadoop集群上执行，但是到了hadoop2之后的版本，这种提交方式不行，需要先打成jar,然后发送到hadoop集群上去执行。这验证影响了我们的开发效率。

由于中间一直忙于做impala的二次开发，项目组有人提到这个问题一直没时间看，今天看了下是hadoop2之后为了跨平台导致这个bug的。官方hadoop2.4版本才修复。如果你是hadoop2.4之前的用户只能自己编译class文件去替换jar中的class.

https://issues.apache.org/jira/browse/MAPREDUCE-4052 这是这个bug的提交记录。

现在问题是多数客户使用的是cloudera。cloudera4是hadoop2.0, cloudera5是hadoop2.2 。  该bug未能修复。

转载于:https://my.oschina.net/1987times/blog/267357