storm消息机制保证ack 原理

最新推荐文章于 2025-07-28 18:55:04 发布
原创 最新推荐文章于 2025-07-28 18:55:04 发布 · 225 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据

本文深入探讨了Storm中ackbolt的作用，通过实例展示了msgid如何用于确认消息处理状态，包括消息从Spout到Bolt的传递过程及消息处理后的反馈机制。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 storm会有一个ackbolt 不断计算top 每个spout,bolt task的msgid ,来确认调用act 方法还是fail方法 ；

如下示列

1.如下图

    

 1.spout 向ackbolt 报上去的 rootId=T1^T2

 2.bolt1 向ackbolt 报上去的 rootId=T1^T3^T4^T5

 3.bolt2 向ackbolt 报上去的rootId=T2

 4.bolt3 向ackbolt 报上去的rootId=T3^T4^T5

 

actbolt 算出来的这条消息的结果是T1^T2^T1^T3^T4^T5^T2^T3^T4^T5 如果为0 则反回给spout 调用ack方法说明消息成功，否则调用fail方法

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Storm消息可靠性保证机制ack与fail原理
SmallCatBaby的博客
06-04 422
一.Storm spout的nextTuple以及bolt的execute Storm的API非常丰富，但是记住，本文介绍的ACK机制需要特殊的支持。也就是说，本文所说的ACK的机制只是Storm的一种可选机制，你完全可以无视它去选择一种轻量的无确认的Best effort方式去使用Storm，本文之所以单独介绍ACK机制，是因为其优雅。 在编写spout...
Strom 消息可靠性保障机制和Ack原理
sheen口开河
10-11 7571
Strom 消息可靠性保障机制和Ack原理Storm提供了消息处理的保障机制，可以保证从Spout发射出的每个tuple都得到完整的处理。当然Storm消息处理保障机制的前提是你使用了这种特性，如果你的业务对偶尔丢失的tuple不敏感，那么也没必要启用这种机制，毕竟有得就会有失。
storm消息可靠机制(ack)的原理和使用
zhangsir的博客
08-28 8664
前言: storm的消息可靠机制可以确保spout发出的每条消息都会被完整的处理 当然,如果你的系统不是那么在乎那么精确的每条消息都要,那么这个机制可以适当忽略 本文主要讨论storm的消息可靠机制的原理和使用...
Storm确保消息被消费
SCGH_Fx的专栏
06-08 559
1.spout中nextTuple方法中发送的tuple需要携带msgId   collector.emit(new Values(line),index);   //index为Integer类型2.bolt中需要对tuple进行确认(ack() | fail()) public void execute(Tuple tuple) { String line = tuple.getStrin...
storm - 可靠机制
zzbjut
08-10 6031
Storm 可靠性剖析
Storm Ack保证机制
人不风流枉少年
03-08 498
一：简介 当一个Bolt处理失败时需要提供一种处理错误的方式，Ack就是用来定义处理错误的逻辑，一般可以选择重现发射或者记录错误。 实用Ack时要注意： 发射时需要带上Tuple和messageId collector.emit(new Values("xxx"), msgId); Bolt处理业务逻辑需要用try catch捕获未知异常，处理成功需要调用collector.ack(input)...
ack strom 保证只有一次_Storm容错机制（一）：ACK机制
weixin_33788465的博客
01-14 222
前言好久没有写文章了，然后一连就写了三篇，前两篇文章Storm入门(一)：编程模型Storm入门(二)：架构模型和集群部署都是一些比较简单的入门教程，这一篇我们来聊一聊稍微高级点的话题，关于 Storm 的 ACK 机制。不过话又说回来，其实大数据领域，该机制还是显得比较鸡肋的！！！ACK机制有什么用？我们知道 Storm 是一个常驻服务，消息源源不断的来，他源源不断的处理，那肯定在有些情况下会导...
Storm ACK机制
一路前行
08-19 4839
一、Ack是什么     为了保证数据能正确的被处理, 对于spout产生的每一个tuple, storm都会进行跟踪。 ack机制即， spout发送的每一条消息：  在规定的时间内，spout收到Acker的ack响应，即认为该tuple 被后续bolt成功处理  在规定的时间内，没有收到Acker的ack响应tuple，就触发fail动作，即认为该tuple处理失败，  或
storm ack机制
12-26
### Storm Ack机制详解 #### 工作原理概述 Storm通过一组特殊任务称为“acker”的组件来追踪每条消息的状态。这些ackers负责维护拓扑结构中有向无环图(DAG)内各节点间的关系，确保每个Tuple都能被正确处理并最终...
Storm的ack原理和使用
weixin_43167990的博客
09-28 1713
Storm的ack原理 通过Ack机制，spout发送出去的每一条消息，都可以确定是被成功处理或失败处理， 从而可以让开发者采取动作。比如在Meta中，成功被处理，即可更新偏移量，当失败时，重复发送数据。 因此，通过Ack机制，很容易做到保证所有数据均被处理，一条都不漏。 另外需要注意的，当spout触发fail动作时，不会自动重发失败的tuple，需要spout自己重新获取数据，手动重新再发送一...
storm的act机制原理
春水初生，春林初盛，春风十里，不如随笔
08-14 827
act机制总结 1、spout发送的一条消息，会有系统生成一个ROOTID（一个64为随机数） 2、由于用户在发送数据的时候，指定了meeeageId，所以在发送数据的时候，会创建一个pendingMap       map以ROOTID为key，以用户的messageId为value DataTuple：含有数据 ActTuple：不含有数据   含有ROOTID 锚点ID 3、sp...
Storm的消息处理保障机制
FireOfStar的专栏
12-07 4410
本文译自：http://storm.apache.org/documentation/Guaranteeing-message-processing.html Storm会保证每个来自Spout的消息会被完全处理。本文介绍Storm是如何实现这种保证机制的，以及要让用户从Storm的可靠性能力中获益所要做的一些事情。 “完全处理的消息”意味着什么？ 一个来自Spout的数据元组可能会触发基于
Guaranteeing Message Processing(storm 消息处理保证机制)
CxCo的专栏
10-12 1512
Storm保证spout发出来的每条消息都会被完全的处理。这篇文章描述了Storm是如何实现这一保证机制的以及作为一个storm的使用者我们如何从storm的这种可靠性中获益。 消息被"完整处理"的含义 由spout发出来的一个tuple（元组）会触发下游更多的tuple的生成。让我们看你这个流单词计数的topology: TopologyBuilder builder = new
xor(异或)解决Storm的Tuple确认问题
qq_36864672的博客
01-08 482
Storm spout的nextTuple以及bolt的execute Storm的API非常丰富，但是记住，本文介绍的ACK机制需要特殊的支持。也就是说，本文所说的ACK的机制只是Storm的一种可选机制，你完全可以无视它去选择一种轻量的无确认的Best effort方式去使用Storm，本文之所以单独介绍ACK机制，是因为其优雅。   在编写spout的nextTuple时，最终你必须要em...
【Storm总结-4】Storm 中acker的工作流程
Derekjiang的笔记簿
06-07 7040
转自http://xumingming.sinaapp.com/410/twitter-storm-code-analysis-acker-merchanism/ --------------------------- 概述 我们知道storm一个很重要的特性是它能够保证你发出的每条消息都会被完整处理， 完整处理的意思是指： 一个tuple被完全处理的意思是： 这个
Storm研究综述
leveretz的博客
11-23 1799
实时计算具备分布式、低延迟、高性能、可扩展、高容错、高可靠、消息严格有序、定制开发等特点。在整个计算过程中，实时计算引擎与各处理单元均处于运行状态，接收源源不断流进的消息，进行任务的分配、调度、路由、计算，最后将处理结果进行存储。 通常，实时计算引擎由数据读取、模型转换、逻辑处理等组件组成，数据读取组件从外部数据源源源不断的读取数据，然后依据内容数据模型转换为内部源数据，让后交由逻辑处理组件进行
Storm的基础知识-保证消息处理（4）
likebutterfly的博客
09-04 491
Storm提供了几种不同级别的保证消息处理，包括尽力而为，至少一次，以及通过Trident完成一次。 1，What does it mean for a message to be “fully processed”?（消息“完全处理”是什么意思？） 从Spout发射的元组可以触发基于它的数千个元组。例如，考虑流式字数统计拓扑： TopologyBuilder builder = new Topo...
Linux随记（二十一）
Nightwish5的博客
07-26 375
参考：https://blog.youkuaiyun.com/zsb706496992/article/details/144722449。参考：https://zhuanlan.zhihu.com/p/711713588 《Tomcat 小版本升级》
未授权访问各种靶场复现 总结
最新发布
2201_75617121的博客
07-28 790
本文总结了多种常见的未授权访问漏洞及其利用方法，涵盖了Redis、MongoDB、Memcached、Zookeeper、Jenkins等21种服务。每个漏洞都包含环境搭建、检测方法和攻击步骤，如使用特定工具连接、执行命令获取shell、利用可视化工具访问等。文中还提供了资产收集技巧和工具下载链接，包括nmap扫描、fofa查询等。这些漏洞可能允许攻击者直接访问敏感数据或获取系统控制权，突显了配置安全的重要性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值