用python写wordcount

hadoop是建立在MapReduce机制之上，其中wordcount是hadoop最典型的一个实例，然而众所周知，hadoop的源码是java，并且大多数的hadoop代码都是基于java搭建起来，那如何利用python实现wordcount，这将是本篇博客主要想完成的功能，并将写好的程序放入hadoop集群上跑

新建mapper.py

#-*- encoding=UTF-8 -*-

import sys
import re
##标准输入
for line in sys.stdin:
    line = line.strip()
    words = re.split('，',line)
    for word in words:
        print("{0}\t{1}".format(word,1))

这里主要利用sys.stdin进行输入,sys.stdout进行输出，其中print为map到reduce这一段充当了标准输出这一角色

输入文件 input.txt

hello,liming
hi,zhangsan
haha,hehe,liming
wangmazi,map
hadoop,hdfs,hbase
map,reduce,reduce

map测试

输入以下指令对mapper的程序进行测试

cat input.txt | python mapper.py

输出结果如下

hello