storm中acker任务的名字由来猜测?

最新推荐文章于 2025-11-25 19:39:25 发布
原创 最新推荐文章于 2025-11-25 19:39:25 发布 · 127 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据

本文探讨了Apache Storm如何通过其特有的acker任务实现高效且可靠的数据处理。这些acker任务负责跟踪每个spout元组的有向无环图(DAG)，确保数据处理流程的完整性和准确性。

How does Storm implement reliability in an efficient way?

A Storm topology has a set of special "acker" tasks that track the DAG of tuples for every spout tuple.

 

 

acker 英文中文翻译为 :涡流，海啸，水的波纹

 

 

但这里个人认为取自track  中ack  ,意为跟踪的意思.  

 

iteye_6988
关注
Storm容错机制Acker
蔡政洁的博客
12-30 662
目录（1）基于tuple树的Acker详解（2）如何开启或者关闭Acker（1）如何开启Acker（2）如何关闭Acker（3）Acker机制的编程模型（4）Storm可靠性实现的设计思想（1）需要实现可靠性的场景（2）可靠性设计 — Acker失败重发编码实现思路（5）Storm可靠性及Acker失败重发编码实现 （1）基于tuple树的Acker详解 Storm中有个特殊的Executor叫acker，他们负责跟踪spout发出的每一个Tuple的Tuple树。当acker发现一个Tuple树 已经处理
storm如何分配任务和负载均衡？
浩然之气,兼容并蓄 http://blog.youkuaiyun.com/gsky1986
07-23 3821
如题.
storm的acker机制
J_Shine的博客
09-30 698
一、简介： storm中有一个很重要的特性： 保证发出的每个tuple都会被完整处理。一个tuple被完全处理的意思是： 这个tuple以及由这个tuple所产生的所有的子tuple都被成功处理。如果任一个消息在timeout所指定的时间内没有完成处理，那这个tuple就失败了。 二、原理： acker并不会为每个tuple都分配内存空间来完成跟踪，而是利用了一个非常巧妙的算法，这个
storm acker 机制详解
z_xiaozhuT的博客
09-14 749
首先来看一下什么叫做记录级容错？storm允许用户在spout中发射一个新的源tuple时为其指定一个message id, 这个message id可以是任意的object对象。多个源tuple可以共用一个message id，表示这多个源 tuple对用户来说是同一个消息单元。storm中记录级容错的意思是说，storm会告知用户每一个消息单元是否在指定时间内被完全处理了。那什么叫做完全处理呢...
【Storm总结-4】Storm 中acker的工作流程
Derekjiang的笔记簿
06-07 7059
转自http://xumingming.sinaapp.com/410/twitter-storm-code-analysis-acker-merchanism/ --------------------------- 概述 我们知道storm一个很重要的特性是它能够保证你发出的每条消息都会被完整处理， 完整处理的意思是指： 一个tuple被完全处理的意思是： 这个
Storm的acker确认机制
weixin_33775572的博客
04-05 175
 Storm的acker消息确认机制...        ack/fail消息确认机制(确保一个tuple被完全处理)        在spout中发射tuple的时候需要同时发送messageid，这样才相当于开启了消息确认机制         如果你的topology里面的tuple比较多的话， 那么把acker的数量设置多一点,效率会高一点。        通过config.setN...
Storm 中什么是-acker，acker工作流程介绍
weixin_30301449的博客
06-30 121
概述 我们知道storm一个很重要的特性是它能够保证你发出的每条消息都会被完整处理， 完整处理的意思是指： 一个tuple被完全处理的意思是： 这个tuple以及由这个tuple所导致的所有的tuple都被成功处理。而一个tuple会被认为处理失败了如果这个消息在timeout所指定的时间内没有成功处理。 也就是说对于任何一个spout-tuple以及它的所有子孙到底处理成功失败与否...
storm的acker机制理解
weixin_30877227的博客
12-07 111
转载请注明原创地址http://www.cnblogs.com/dongxiao-yang/p/6142356.html Storm 的拓扑有一些特殊的称为“acker”的任务，这些任务负责跟踪每个 Spout 发出的 tuple 的 DAG。开启storm tracker机制的前提有三个： 1. 在spout emit tuple的时候，要加上第3个参数messagei...
Storm集群是如何启动的，任务是如何执行的？
汤小萌的博客
12-15 1593
1.Storm集群是如何启动的，任务是如何执行的？ 集群架构中的各个模块如何启动？ 任务如何分配，如何执行？ storm启动nimbus服务的命令： cd /export/servers/storm/bin/ nohup ./storm nimbus & 1.客户端运行storm nimbus时，会调用storm的脚本，生成一条java命令，命令格式如下： java -server x...
Storm Acker机制
03-28
Storm，是于90年代突然崛起，颇受年轻消费者追崇的，一个专注于时尚生活的品牌，主要产品集中在时尚腕表、珠宝首饰、箱包、雨伞以及香水等。她是由其创始人Steve Sun于1989年创立。 自诞生之日起，Storm就以独特的...
storm中文学习资料
03-10
标题中的"storm中文学习资料"表明这是一份关于Apache Storm的中文学习资源，Apache Storm是一个开源的分布式实时计算系统，常用于实时数据处理。在这个压缩包中，我们可以预期找到一系列帮助理解和掌握Storm技术的...
淘宝详情数据 API 返回字段全解析：核心字段说明 + 开发避坑指南
Ob_API20230201的博客
11-23 910
淘宝详情数据 API 的返回字段设计贴合电商业务场景，核心在于理解字段关联关系（如sku_id与spec_json）和权限限制。开发时需重点关注价格库存的准确性、图文内容的解析效率，以及异常场景的兼容处理。如果遇到特殊字段解析问题（如海外商品、预售商品专属字段），欢迎在评论区留言交流！
Go语言高性能并发编程实践分享：从基础协程到分布式服务优化实战经验总结
2501_94108919的博客
11-23 421
充分利用goroutine和channel，实现轻量级并发。控制并发规模，避免无限增长导致系统压力。合理使用连接池和异步操作，优化网络和数据库IO。监控与分析，借助pprof定位性能瓶颈。简单、静态部署，提升服务稳定性和运维效率。总之，Go语言凭借原生并发支持和高效性能，非常适合构建高吞吐量、高并发的分布式服务。通过本文经验分享，希望开发者能在Go语言实践中少踩坑，快速构建稳定、高性能的互联网系统。全文字数：约1205字内容原创度：低相似度（独立实践经验、代码示例、优化策略）地区信息：广州。
数字世界的“1”：创新驱动与变革的起点
2501_94094887的博客
11-21 556
摘要：数字“1”作为二进制基础单位，在数字化浪潮中扮演核心角色。从计算机底层运算到大数据分析，从人工智能学习到物联网连接，“1”贯穿技术演变的各个环节。它不仅是信息流动的最小单元，更是推动智能化社会发展的关键要素。未来随着5G、区块链等技术的进步，“1”将持续赋能数字社会，构建更高效、智能的世界。这一简单符号背后，蕴含着驱动科技变革与社会转型的巨大能量。
Hadoop 分布式计算MapReduce和资源管理Yarn 2
最新发布
2402_85236482的博客
11-25 747
序列化定义：就是把内存中的对象，转换为字节序列，以便于存储到磁盘或网络传输，此过程被称为序列化。反序列化定义：将字节序列或磁盘中的持久化字节数据，转换为内存中的对象的过程。##4.2 hadoop为什么需要序列化和反序列化数据经过mapper 任务的处理后，会产生溢出文件，这些文件会被保存到磁盘上。mapper任务完成后，reducer会通过http get的方式从mapper端拷贝对应分区的数据，中间需要经过网络传输。需要做持久化（存盘）或网络传输，这中间就需要做数据的序列化和反序列操作。
Flink CDC系列之：数据接收器工厂类DorisDataSinkFactory
zhengzaifeidelushang的博客
11-24 117
Flink CDC系列之：数据接收器工厂类DorisDataSinkFactory
阿里云服务器的适用场景
gaize1213的博客
11-24 303
需GPU加速的AI训练、推理场景（如图像识别、NLP）可选择阿里云GPU实例（如vgn7i-vws）或弹性加速计算实例（EAIS），配合PAI平台快速部署模型。多人在线游戏、实时通信等低延迟场景可使用阿里云的高主频计算型实例（如hfg7）或GPU实例（如gn7i）。基于Kubernetes的容器化应用可使用阿里云容器服务（ACK），配合ECI（弹性容器实例）实现秒级扩容，适合微服务架构。4K视频转码、实时直播等场景可选择视频编码型实例（如vep7）或FPGA实例，结合媒体处理服务（MPS）提升处理效率。
基于 Scala 构建大数据实时处理与流式计算平台的高性能架构设计与工程实践分享
2501_94114213的博客
11-24 411
本文结合实际工程项目，从系统架构、流式计算模型、并发优化、内存管理、数据存储与索引、容错机制以及工程化运维等方面，系统分享 Scala 在大数据实时处理平台中的落地经验与优化策略。综上，Scala 凭借函数式编程、JVM 高性能运行时和对大数据生态的原生支持，为构建高性能、大规模、低延迟的实时数据处理与流式计算平台提供了理想技术基础。通过模块化架构设计、并发优化、内存与状态管理、容错机制以及完善的工程化运维，开发者能够实现稳定、高效、可扩展的大数据实时处理系统，为企业提供可靠的实时决策和分析能力。
Storm可靠性机制详解：Acker与Tuple生命周期
Acker是Storm Topology中的关键部分，它的职责是追踪每个从Spout任务发出的MessageId所关联的Tuple树的处理状态。每个MessageId可能对应多个源Tuple，这些Tuple被视为同一消息单元。当Acker检测到一个tuple树已完全...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值