hadoop 部署软件环境自己上传python包

最新推荐文章于 2025-12-06 14:39:28 发布

原创

最新推荐文章于 2025-12-06 14:39:28 发布 · 5.1k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop

当Hadoop的默认软件环境无法满足需求，如需更高Python版本或特定插件时，可以自行上传Python包。通过将Python包上传至HDFS，然后在作业配置中指定`cacheArchive`和Python解释器路径，例如`-cacheArchive hdfs:///home/my/tool/python2.7.tgz#python -python/bin/python`。这样，解压后的`python2.7.tgz`目录可以通过软链接在程序中使用。

应用场景：

hadoop上的软件环境不能满足自己的需求。比如需要python2.7以上的版本，hadoop环境不支持或者需要安装某插件的python版本，hadoop不支持。这种情况下，需要自己上传python包。

首先，将打包好的python包上传至hadoop

 hadoop fs -put ./python2.7.tgz hdfs:///home/my/tool/

然后指定cacheArchive: -cacheArchive hdfs:///home/my/tool/python2.7.tgz#python

指定map或者reduce使用的python位置： python/bin/python

举例：

-mapper "./python/bin/python map.py" \
-reducer "./python/bin/python reduce.py" \
-file map.py \
-file reduce.py \
-cacheArchive hdfs:///home/my/tool/py