BaseBasicBolt和BaseRichBolt的区别

最新推荐文章于 2025-11-20 11:32:31 发布
原创 最新推荐文章于 2025-11-20 11:32:31 发布 · 1.4k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Storm

本文详细解析了Storm框架下BaseBasicBolt与BaseRichBolt的主要区别。BaseBasicBolt在数据发射时自动关联输入tuple，并在execute方法结束后自动ack；而BaseRichBolt需显式指定数据源tuple并手动调用ack或fail方法。

BaseBasicBolt和BaseRichBolt的区别


  Storm的Bolt有BaseBasicBolt和BaseRichBolt。
  BaseRichBolt中，BasicOutputCollector在emit数据的时候，需要显示指定该数据的源tuple要加上第二个参数anchor tuple，以保持tracker链路。即collector.emit(oldTuple, newTuple)。并且需要在execute执行成功后调用OutputCollector.ack(tuple), 当失败处理时，执行OutputCollector.fail(tuple)。
  BaseBasicBolt中，BasicOutputCollector在emit数据的时候，会自动和输入的tuple相关联，而在execute方法结束的时候那个输入tuple会被自动ack。

Storm的ack原理和使用
weixin_43167990的博客
09-28 1758
Storm的ack原理 通过Ack机制，spout发送出去的每一条消息，都可以确定是被成功处理或失败处理， 从而可以让开发者采取动作。比如在Meta中，成功被处理，即可更新偏移量，当失败时，重复发送数据。 因此，通过Ack机制，很容易做到保证所有数据均被处理，一条都不漏。 另外需要注意的，当spout触发fail动作时，不会自动重发失败的tuple，需要spout自己重新获取数据，手动重新再发送一...
Strom 消息可靠性保障机制和Ack原理
sheen口开河
10-11 7625
Strom 消息可靠性保障机制和Ack原理Storm提供了消息处理的保障机制，可以保证从Spout发射出的每个tuple都得到完整的处理。当然Storm消息处理保障机制的前提是你使用了这种特性，如果你的业务对偶尔丢失的tuple不敏感，那么也没必要启用这种机制，毕竟有得就会有失。
bolt BaseBasicBolt BaseRichBolt
CottonDuke的博客
04-16 1042
baseBasicBolt 自带ack 机制 下面是BasicBoltExecutor的一段源码，如果你写的bolt跑出FailedException 异常，basicBolt会调用fail,如果处理成功，会调用ack方法 public void execute(Tuple input) { _collector.setContext(input); try {
bolt在java,BaseRichBolt简单使用
weixin_29940495的博客
03-12 354
[TOC]# 数据获取~~~package com.jdxia.ack;import backtype.storm.spout.SpoutOutputCollector;import backtype.storm.task.TopologyContext;import backtype.storm.topology.OutputFieldsDeclarer;import backtype.stor...
Storm BaseBasicBolt和BaseRichBolt
王坦的博客
04-13 703
我们在学习ack机制的时候，我们知道Storm的Bolt有BaseBasicBolt和BaseRichBolt。 在BaseBasicBolt中，BasicOutputCollector在emit数据的时候，会自动和输入的tuple相关联，而在execute方法结束的时候那个输入tuple会被自动ack。 在使用BaseRichBolt需要在emit数据的时候，显示指定该数据的源tuple要加上第...
BasicBolt和IRichBolt之间的区别
wicky的博客
05-19 2921
IRichBolt继承自IBolt，IBolt会使用OutputCollector来发送元组。public interface IBolt extends Serializable { ... void prepare(Map stormConf, TopologyContext context, OutputCollector collector); ... }OutputCollector有
11、构建可靠拓扑：Storm 中的消息处理机制
最新发布
sql99的博客
11-20 9
本文深入探讨了Apache Storm中实现可靠消息处理的机制，涵盖元组的锚定、确认与失败处理流程，对比了BaseBasicBolt与BaseRichBolt的适用场景及实现方式，分析了Spout在消息可靠性中的关键作用，并提供了基于RabbitMQ的可靠Spout示例。文章还总结了不同类型错误的处理策略，通过流程图和对比表格直观展示处理逻辑，帮助开发者构建健壮、可靠的实时数据处理拓扑。
大数据技术之_17_Storm学习_Storm 概述+Storm 基础知识+Storm 集群搭建+Storm 常用 API+Storm 分组策略和并发度
黑泽君
04-13 1207
大数据技术之_17_Storm学习_Storm 概述+Storm 基础知识+Storm 集群搭建+Storm 常用 API+Storm 分组策略和并发度
流数据分析技术笔记5 分布式实时处理系统
Lora青蛙的博客
06-18 1381
文章目录1 分布式流数据处理概述2 Storm分布式实时处理系统3 Samza分布式实时处理系统4 Flink分布式实时处理系统 1 分布式流数据处理概述 流处理本质上是一种特殊形式的并行计算，它被设计用于数据只能处理一次的情况。这些并行计算环境多数实现在一个不可靠的网络层之上，这样的网络层会引入高得多的错误率。 • 协调：流框架的核心，存储用于拓扑处理的相关信息，同时处理一些分区任务，Zookeeper。 • 分区和融合：流处理系统的核心元素是分散-收集（scatter-gather）机制的某种实现，流处
Storm的BaseBasicBolt源码解析ack机制
weixin_34253539的博客
09-30 204
我们在学习ack机制的时候，我们知道Storm的Bolt有BaseBasicBolt和BaseRichBolt。在BaseBasicBolt中，BasicOutputCollector在emit数据的时候，会自动和输入的tuple相关联，而在execute方法结束的时候那个输入tuple会被自动ack。在使用BaseRichBolt需要在emit数据的时候，显示指定该数据的源tuple要加上第二个...
Storm BaseBasicBolt和BaseRichBolt。
glowd的专栏
05-03 6593
我们在学习ack机制的时候，我们知道Storm的Bolt有BaseBasicBolt和BaseRichBolt。 在BaseBasicBolt中，BasicOutputCollector在emit数据的时候，会自动和输入的tuple相关联，而在execute方法结束的时候那个输入tuple会被自动ack。 在使用BaseRichBolt需要在emit数据的时候，显示指定该数据的源tuple要加上
IRichBolt和IBasicBolt/BaseBasicBolt对比
guicaizhou的专栏
05-31 886
storm消息的可靠处理 IRichBolt和IBasicBolt/BaseBasicBolt对比 使用IBasicBolt/BaseBasicBolt不需要总是调用collect.ack，storm会帮我们处理。对于spout，有ISpout，IRichSpout，BaseRichSpout对于bolt，有IBolt，IRichBolt，BaseRichBolt，IBasicBolt，BaseB...
Storm tuple发送机制
猪先森
08-29 4452
介绍了Storm中消息发送机制的一些知识
IRichBolt和IBasicBolt对比
liyonghui123的专栏
05-23 196
   作为storm的使用者，有两件事情要做以更好的利用storm的可靠性特征。 首先，在你生成一个新的tuple的时候要通知storm; 其次，完成处理一个tuple之后要通知storm。 这样storm就可以检测整个tuple树有没有完成处理，并且通知源spout处理结果。storm提供了一些简洁的api来做这些事情。由一个tuple产生一个新的tuple称为： anchoring。你发...
Storm之BaseRichbolt和BaseBasicbolt的区别
resemble的博客
01-30 1251
BaseRichBolt You must – and are able to – manually ack() an incoming tuple. Can be used to delay acking a tuple, e.g. for algorithms that need to work across multiple incoming tuples. BaseBasicBolt Au...
Strom中IBasicBolt与IRichBolt的区别
ch717828的专栏
09-17 5420
Storm 中 IRichBolt 与 IBasicBolt 在Storm中，如果要保证消息发送成功，每个处理tuple，都必须进行ack或者fail。因为storm会追踪每个tuple要占用内存。所以如果你不ack/fail每一个tuple，那么最终年会看到OutOfMemory错误。 对于SplitSentence这一部分，如果用IRichBolt来做（想写得更少，可以直接继承BaseRi
ack机制之代码实现，实现BaseRichBolt的方式，使用BaseBasicBolt的方式实现BaseRichBolt发ack和fail的功能
涂作权的博客
06-21 4914
代码结构如下： pom文件内容如下：<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="
如和实现日志监控：查看系统操作日志
10-13
实现日志监控并查看系统操作日志可以通过不同的技术手段，以下为两种方法： - **Spring Boot通过AOP实现系统日志记录**：可以通过AOP（面向切面编程）来实现Controller层和Service层的日志监控。对于Controller层，需要设计日志表结构，其日志表的字段包括自增ID、客户端ip、请求映射路径、方法名、参数、操作人姓名、接口请求时间、接口返回时间、总消耗时间、接口返回数据、创建时间、创建人、修改时间、修改人以及是否删除标记等信息，通过该表记录系统操作日志。对于Service层，可以使用自定义的监控注解`ServiceMonitor`来实现日志监控，该注解可以作用于方法上，用于标识需要监控的方法。 ```java // 日志表结构设计相关字段示例 // id自增ID // client_ip客户端ip // req_uri请求映射路径 // ... // Service监控注解示例 import java.lang.annotation.Documented; import java.lang.annotation.ElementType; import java.lang.annotation.Retention; import java.lang.annotation.RetentionPolicy; import java.lang.annotation.Target; @Documented @Target({ElementType.METHOD}) @Retention(RetentionPolicy.RUNTIME) public @interface ServiceMonitor { String value() default ""; } ``` - **日志监控告警系统的设计与实现**：可以使用自定义的`SaveMessage2MySql`类来实现日志的保存操作，该类继承自`BaseBasicBolt`。在`execute`方法中，从输入的`Tuple`中获取`Record`对象，并调用`MonitorHandler`的`save`方法将记录保存。 ```java import org.apache.storm.topology.BasicOutputCollector; import org.apache.storm.topology.OutputFieldsDeclarer; import org.apache.storm.topology.base.BaseBasicBolt; import org.apache.storm.tuple.Tuple; import java.util.logging.Logger; public class SaveMessage2MySql extends BaseBasicBolt { private static Logger logger = Logger.getLogger(SaveMessage2MySql.class); public void execute(Tuple input, BasicOutputCollector collector) { Record record = (Record) input.getValueByField("record"); MonitorHandler.save(record); } public void declareOutputFields(OutputFieldsDeclarer declarer) { } } ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值