Storm-blot（2）

最新推荐文章于 2021-11-29 14:40:05 发布

芒果@

最新推荐文章于 2021-11-29 14:40:05 发布

阅读量281

点赞数

分类专栏： storm 文章标签： storm storm

本文链接：https://blog.youkuaiyun.com/weixin_46346504/article/details/121602785

版权

本文介绍了Storm集群中的核心组件Bolt，包括其在拓扑中的作用、数据流组的种类及其应用，如随机数据流组、域数据流组、全部数据流组、自定义数据流组和直接数据流组。Bolt通过处理元组并产生新的元组来实现数据处理。同时，文章提到了如何创建自定义数据流组，并提供了相关知识点的学习链接。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2121SC@SDUSC

Storm-blot（2）

一、 Bolt
bolts是一个Storm集群中的关键组件，它把元组作为输入，然后产生新的元组作为输出。实现一个bolt时，通常需要实现IRichBolt接口。Bolts对象由客户端机器创建，序列化为拓扑，并提交给集群中的主机。然后集群启动工人进程反序列化bolt，调用prepare，最后开始处理元组。

二、拓扑中的blot应用

数据流组：

一个数据流组指定了每个bolt会消费哪些数据流，以及如何消费

注：一个节点能够发布一个以上的数据流，一个数据流组允许我们选择接收哪个

数据流组在定义拓扑时设置：

 ···
builder.setBolt("word-normalizer", new WordNormalizer())
       .shuffleGrouping("word-reader");
···

在前面的代码块里，一个bolt由TopologyBuilder对象设定，然后使用随机数据流组指定数据源。数据流组通常将数据源组件的ID作为参数，取决于数据流组的类型不同还有其它可选参数。

注：每个InputDeclarer可以有一个以上的数据源，而且每个数据源可以分到不同的组。

随机数据流组

随机流组是最常用的数据流组。它只有一个参数（数据源组件），并且数据源会向随机选择的bolt发送元组，保证每个消费者收到近似数量的元组

随机数据流组用于数学计算这样的原子操作

域数据流组

最低0.47元/天解锁文章