Hadoop Streaming for Python

最新推荐文章于 2019-03-13 14:51:16 发布

xiaokoed

最新推荐文章于 2019-03-13 14:51:16 发布

阅读量320

点赞数

CC 4.0 BY-SA版权

分类专栏： Hadoop

本文链接：https://blog.youkuaiyun.com/xiaokoed/article/details/40456557

Hadoop 专栏收录该内容

3 篇文章

订阅专栏

本文介绍如何使用 Hadoop Streaming 进行数据处理任务。通过 Python 脚本实现 MapReduce 的 mapper 和 reducer 功能，具体步骤包括指定 jar 包路径、mapper 和 reducer 脚本路径、输入输出目录等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hadoop jar /usr/hadoop/share/hadoop/tools/lib/hadoop-streaming-2.2.0.jar -mapper "python /usr/python_str/mapper.py" -file /usr/python_str/mapper.py -reducer "python /usr/python_str/reducer.py" -file /usr/python_str/reducer.py -input "hdfs://Master1Hadoop/user/image/in" -output "hdfs://Master1Hadoop/user/image/out"