Storm实践2-【storm实时排序TopN】 - TOP10

最新推荐文章于 2024-10-09 10:14:53 发布

weixin_34377065

最新推荐文章于 2024-10-09 10:14:53 发布

阅读量246

点赞数

CC 4.0 BY-SA版权

文章标签：大数据 python

原文链接：https://my.oschina.net/infiniteSpace/blog/309715

本文介绍了一种基于Storm的实时流式TopN计算方法，包括如何使用Spouts和Bolts来处理实时数据流，实现热门商品浏览等场景的实时排名计算。

2019独角兽企业重金招聘Python工程师标准>>>

阅读背景：1 您需要了解TOP 使用的场景

2 您需要了解当前的TOPN 处理，和定时区间处理的区别

看代码说话

package com.cc.storm;

import com.cc.storm.bolt.MergeBolt;
import com.cc.storm.bolt.RankBolt;
import com.cc.storm.bolt.RollingAllCountBolt;
import com.cc.storm.bolt.RollingCountBolt;
import com.cc.storm.spout.RandomEmitSpout;
import com.cc.storm.spout.RedisPubSubSpout;

import backtype.storm.Config;
import backtype.storm.LocalCluster;
import backtype.storm.StormSubmitter;
import backtype.storm.generated.AlreadyAliveException;
import backtype.storm.generated.InvalidTopologyException;
import backtype.storm.topology.TopologyBuilder;
import backtype.storm.tuple.Fields;

/**
 * ToPN是一种常见模式，是对流式数据进行“Streaming topN”的计算：
 * 比如要计算的是最近一段时间内的热门话题，热门点击图片，热门商品浏览，热门商品购买
 * 
 * 既然敢要实时的处理，【】【】【】【】【】[] 【】 【】【】【】【】 [] 【】【】【】【】 【】 []
 * 
 * @author Yin Shuai
 */
public class TOP10 {

	public static void main(String[] args) throws AlreadyAliveException,
			InvalidTopologyException, InterruptedException {

		final int TOP_N = 10;
		final int time = 1;

		TopologyBuilder builder = new TopologyBuilder();
		builder.setSpout("$datasource$", new RandomEmitSpout(), 1);

		builder.setBolt("$count$", new RollingCountBolt(3, time), 1)
				.fieldsGrouping("$datasource$", new Fields("merchandiseIDS"));

		builder.setBolt("$rank$", new RankBolt(TOP_N), 2).fieldsGrouping(
				"$count$", new Fields("merchandiseID"));

		builder.setBolt("$merge$", new MergeBolt(TOP_N)).globalGrouping(
				"$rank$");

		Config conf = new Config();
		conf.setDebug(false);
		conf.setNumWorkers(2);
		conf.setMaxSpoutPending(5000);

		LocalCluster cluster = new LocalCluster();
		cluster.submitTopology("Getting-Started-Toplogie", conf,
				builder.createTopology());

		Thread.sleep(5000);
	}
}

整个处理的流程如图：