hadoop平台使用python编写mapreduce排序小程序

最新推荐文章于 2021-01-28 16:49:27 发布

原创

最新推荐文章于 2021-01-28 16:49:27 发布 · 3.6k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#mapreduce #python #hadoop

本文介绍了在Hadoop 2.6.5环境中，使用Python 2.7.5编写MapReduce程序进行字典值排序的步骤。涉及map.py和reducer.py的编写，以及遇到的常见错误及其解决方案，如文件编码、换行符、Python解释器路径等问题。同时，提供了Hadoop Streaming的jar包位置和运行命令的注意事项。

编写环境

hadoop-2.6.5
python-2.7.5
xshell连接
金山云平台，一台master，3台selvet

数据类型

map.py

  1 #!/usr/bin/env python
  2 import sys
  3 list1=[]
  4 for line in sys.stdin:
  5     line=line.strip()
  6     words = line.split("\n")
  7     list1.append(words[