本文介绍了如何使用Python脚本配合Hadoop Streaming处理apat63_99.txt专利数据集，找出最大K个特定专利声明个数的记录。通过脚本解析数据并进行排序，最终在map和reduce阶段实现Top K查询。示例中展示了求解最大8条记录的命令及部分运行结果。
求海量数据中最大的K个记录
来源于《hadoop实战》(hadoop in action)（美 拉姆）第4.7章节有关stream的习题。
数据源：apat63_99.txt 专利描述数据集，包含专利号、专利申请年份等等信息。可从美国国家经济研究局获得，网址为http://www.nber.org/patents
大约有290万条记录。
这里的脚本用的是python。
apat63_99.txt里面存有专利的各种信息，这里以第9列的专利特定专利声明个数作为排序的key值，将最大的K条完整记录输出。
apat63_99.txt格式：
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
