Python MapReduce 案例

远方的飞猪

已于 2023-07-30 14:23:29 修改

阅读量619

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据 Python 文章标签： python mapreduce 开发语言

于 2020-09-24 20:56:53 首次发布

本文链接：https://blog.youkuaiyun.com/tanjunchen/article/details/108783306

Python 同时被 2 个专栏收录

21 篇文章

订阅专栏

大数据

2 篇文章

订阅专栏

这个博客展示了如何利用Python实现MapReduce操作。在`map_t.py`中，程序通过正则表达式处理输入数据，将单词转为小写并输出。`reduce_t.py`则用于聚合单词计数，每遇到新单词时打印当前单词及其累计数量。Hadoop命令行被用来运行这些脚本，处理名为`words.txt`的输入文件，并将结果输出到`wc`目录下。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

map_t.py

import sys
import re

p = re.compile(r'\w+')
for line in sys.stdin:
    ss = line.strip().split(' ')
    for s in ss:
        if len(p.findall(s)) < 1:
            continue
        s_low = p.findall(s)[0].lower()
        print(s_low + ',' + '1')

reduce_t.py

import sys

cur_word = None
s = 0
for line in sys.stdin:
    word, val = line.strip().split(',')

    if cur_word is None:
        cur_word = word
    if cur_word != word:
        print('%s\t%s' % (cur_word, s))
        cur_word = word
        s = 0
    s += int(val)
print('%s\t%s' % (cur_word, sum))

HADOOP_CMD="/usr/local/src/hadoop-2.6.1/bin/hadoop"
STREAM_JAR_PATH="/usr/local/src/hadoop-2.6.1/share/hadoop/tools/lib/hadoop-streaming-2.6.1.jar"

INPUT_FILE_PATH="/data/words.txt"
OUTPUT_PATH="/output/wc"

$HADOOP_CMD fs -rmr -skipTrash $OUTPUT_PATH

# Step 1.
$HADOOP_CMD jar $STREAM_JAR_PATH \
    -input $INPUT_FILE_PATH \
    -output $OUTPUT_PATH \
    -mapper "python map_t.py" \
    -reducer "python red_t.py" \
    -file ./map_t.py \
    -file ./red_t.py