配合上面一篇 mapper篇,这篇主要讲在reducer的时候怎么处理两个文件中的内容,在mapper中我们给每个文件中的内容打了 tag ,在第二个字段,然后就能处理了,只要key一样,就可以弄到一个文件中去。
awk -F '\t' '{
id = $1;
tag = $2;
if (0 == tag){
idPre = $1;
}else (1 == tag && id == idPre){
print $3"\t"id;
}
}'
本文将介绍如何在Reducer阶段处理来自两个文件的数据,通过在Mapper阶段为每条数据打上标签,并确保标签一致时数据能被归类到同一文件中。
配合上面一篇 mapper篇,这篇主要讲在reducer的时候怎么处理两个文件中的内容,在mapper中我们给每个文件中的内容打了 tag ,在第二个字段,然后就能处理了,只要key一样,就可以弄到一个文件中去。
awk -F '\t' '{
id = $1;
tag = $2;
if (0 == tag){
idPre = $1;
}else (1 == tag && id == idPre){
print $3"\t"id;
}
}'

被折叠的 条评论
为什么被折叠?