Hadoop Streaming 之 awk实现Map/Reduce

最新推荐文章于 2023-04-05 20:38:18 发布

原创

最新推荐文章于 2023-04-05 20:38:18 发布 · 424 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#Hadoop Streaming #awk MapReduce

本文介绍了如何使用Hadoop Streaming结合awk来实现Map/Reduce操作。在使用-mapper选项时，提到了两种awk脚本的写法，一种需要转义双引号、单引号和美元符号，另一种则无需转义。文章强调了理解Unix shell中双引号和单引号差异的重要性，以避免配置错误。

//TODO 说明

[xxuser@xxhost ~]$ hadoop jar $HADOOP_STREAMING_JAR \
> -input /test/ylb/mock_data/cv-pt-demo.txt \
> -output /test/ylb/mock_data/output/cv-pt-demo-10 \
> -mapper "awk '\$1~/1/ {printf(\"%s\t%s\n\",\$1,\$2)}'" \
> -reducer "awk 'BEGIN{pt[\"test_key\"]=0;} {key=\$2/10;pt[key]+=1;} END{ for(k in pt){printf(\"%d\t%d\n\",k,pt[k]);} }'"

1. -mapper " awk ' ' " , 这种写法的话， ' ' 里面的脚本中有三种字符（shell特殊字符）需要转义，分别是 " ' $

这种写法的好处是可以方便的引用外部shell变量

-mapper ' awk " " ' 这种写法则不需要转义

第一种写法比较容易出错，所有必须要理解 unix shell 的双引号单引号的区别

摘自 http://hi.baidu.com/liangkejia_jaja/blog/i