Storm常见模式——BasicBolt

使用Storm进行词频统计的实现方式

最新推荐文章于 2022-05-13 13:22:35 发布

转载最新推荐文章于 2022-05-13 13:22:35 发布 · 873 阅读

Twitter Storm 专栏收录该内容

13 篇文章

订阅专栏

本文详细介绍了如何利用Storm中的IBasicBolt接口实现词频统计的Bolt，包括读取输入tuple，提取并计算单词出现次数，以及通过emit操作发射统计结果的过程。此外，提供了一个基于BaseBasicBolt类的实现代码示例。

http://www.cnblogs.com/panfeng412/archive/2012/06/19/storm-common-patterns-of-basicbolt.html

Storm中的很多Bolt都有一个最常见的处理步骤：

读入一个tuple；
根据这个输入tuple，提取后发射0个，1个或多个tuple；
最后，通过ack操作确认这个tuple被成功处理。

按照上述处理步骤，依次处理发向这个Bolt的各个tuple元组。

这种模式可以实现像ETL这类的简单函数或过滤器功能，Storm中专门为这种模式封装了相应接口：IBasicBolt。BaseBasicBolt等类实现了这一接口。

下面是以BaseBasicBolt为基础，按照上述模式实现词频统计的Bolt（代码参考链接：storm-starter）：

public static class WordCount extends BaseBasicBolt {
　　　　　//记录每个单词及单词出现的次数
        Map<String, Integer> counts = new HashMap<String, Integer>();

        @Override
        public void execute(Tuple tuple, BasicOutputCollector collector) {
            String word = tuple.getString(0);
            Integer count = counts.get(word); //提取单词出现次数
            if(count==null)
　　　　　　　　　count = 0;
            count++;
            counts.put(word, count); //更新单词出现次数
            collector.emit(new Values(word, count)); //发射统计结果
        }

        @Override
        public void declareOutputFields(OutputFieldsDeclarer declarer) {
　　　　　　　declarer.declare(new Fields("word", "count"));
        }
    }