Storm（四）：容错机制

最新推荐文章于 2023-10-26 14:07:12 发布
原创 最新推荐文章于 2023-10-26 14:07:12 发布 · 3.4k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#storm

Apache Storm通过Nimbus和Supervisor节点确保分布式集群的可靠性。当Nimbus故障时，Supervisor及worker仍可运行，但无法接收新任务；Supervisor故障时，Nimbus会将worker重分配到其他节点。Worker挂掉时，Supervisor会自动重启它。Nimbus和Supervisor的状态存储在ZooKeeper，确保高可用性。


         Apache Storm分布式集群主要节点由控制节点(Nimbus节点)和工作节点(Supervisor节点)，在集群下，怎么保证拓扑的可靠性，storm提供哪些容错机制？

  

了解本专栏 订阅专栏 解锁全文
Storm部分：Storm的容错机制
wyqwilliam的博客
08-29 1099
    Storm 的容错机制包括架构容错和数据容错。 1)架构容错： Nimbus 和 Supervisor 进程被设计成快速失败(fail fast)的(当遇到异常的情况，进程就会挂掉)并且是无状态的(状态都保存在 Zookeeper 或者在磁盘上)。最重要的是，worker 进程不会因为 Nimbus 或者 Supervisor 挂掉而受影响。这跟Hadoop 是不一样的，当...
Storm容错机制Acker
蔡政洁的博客
12-30 718
目录（1）基于tuple树的Acker详解（2）如何开启或者关闭Acker（1）如何开启Acker（2）如何关闭Acker（3）Acker机制的编程模型（4）Storm可靠性实现的设计思想（1）需要实现可靠性的场景（2）可靠性设计 — Acker失败重发编码实现思路（5）Storm可靠性及Acker失败重发编码实现 （1）基于tuple树的Acker详解 Storm中有个特殊的Executor叫acker，他们负责跟踪spout发出的每一个Tuple的Tuple树。当acker发现一个Tuple树 已经处理
【Storm】四、Storm程序并发机制、任务提交过程、消息容错机制
u014526017的博客
02-20 467
大纲： Storm程序的并发机制 Storm任务提交的过程 Storm消息容错机制 1、Storm程序的并发机制 1.1、概念 Workers (JVMs): 在一个物理节点上可以运行一个或多个独立的JVM 进程。一个Topology可以包含一个或多个worker(并行的跑在不同的物理机上), 所以worker process就是执行一个topology的子集, 并且worker只...
【Storm篇】--Storm 容错机制
weixin_33913377的博客
01-25 197
一、前述 Storm容错机制相比其他的大数据组件做的非常不错。 二、具体原因 结合Storm集群架构图： 我们的程序提交流程如下： 其中各个组件的作用如下： Nimbus资源调度任务分配接收jar包Supervisor接收nimbus分配的任务启动、停止自己管理的worker进程（当前supervisor上worker数量由配置文件设定）Worker运行具体处理运算...
storm的容错机制
Dream__Sky_的博客
04-06 1207
集群容错：1.Nimbus挂掉如果失去了Nimbus节点，Worker也会继续执行；如果workerye消亡，Supervisor会重启worker。但是如果没有Nimbus，worker不会被安排到其他主机节点，客户端也无法提交新的任务。2.zookeeper挂掉zookeeper有主从结构，挂掉无影响。3.Supervisor失败真正执行进程的是worker，所以Supervisor失败不会影...
Storm深入解析：容错原理与实践指南
Storm配置详解是另一个重要部分，它涉及到如何调整topology的各种参数，如任务并行度、容错机制、资源分配等，以优化性能和系统的稳定性。批处理功能允许用户在一定时间窗口内处理数据，而Storm的TOPN算法则是用于...
Storm 实战：构建大数据实时计算 PDF带书签完整版
12-19
5. **容错机制**：Storm通过检查点和故障恢复机制确保数据的可靠性。即使在节点故障时，也能保证数据不丢失，并重新调度未完成的任务。 6. **Zookeeper协调**：Storm使用Zookeeper进行集群管理和故障恢复，...
Storm容错机制
lavimer
04-25 3758
任务级失败 1.Bolt任务crash引起的消息未被应答。此时，acker中所有与此Bolt任务关联的消息都会因为超时而失败，对应的Spout的fail方法将被调用。 2.acker任务失败。如果acker任务本身失败了，它在失败之前持有的所有消息都将超时而失败。Spout的fail方法将被调用。 3.Spout任务失败。在这种情况下，与Spout任务对接的外部设备(如MQ)负责消息的完整性
Storm消息容错机制（ack-fail机制）
weixin_34025151的博客
05-25 255
storm消息容错机制（ack-fail） 1、介绍 在storm中，可靠的信息处理机制是从spout开始的。 一个提供了可靠的处理机制的spout需要记录他发射出去的tuple，当下游bolt处理tuple或者子tuple失败时spout能够重新发射。 Storm通过调用Spout的nextTuple()发送一个tuple。为实现可靠的消息处理，首先要给每个发出的tuple带上唯一...
storm acker机制
weixin_33906657的博客
01-25 179
2019独角兽企业重金招聘Python工程师标准>>> ...
Storm部分：Storm 容错机制
wyqwilliam的博客
08-09 384
1、集群节点宕机 Nimbus服务器 单点故障？ 非Nimbus服务器 故障时，该节点上所有Task任务都会超时，Nimbus会将这些Task任务重新分配到其他服务器上运行 2、进程挂掉 Worker 挂掉时，Supervisor会重新启动这个进程。如果启动过程中仍然一直失败，并且无法向Nimbus发送心跳，Nimbus会将该Worker重新分配到其他服务器上 Supervisor 无状态（所有...
storm消息容错机制
qq_25460227的博客
08-03 1065
1、Storm 消息容错机制（掌握） 对于每个Spout Tuple保存一个ack-val的校验值，它的初始值为0，然后每发射一个tuple或者ack一个tuple，tuple的id都要跟这个校验值异或一下，并且把得到的值更新为ack-val的新值。   <ROOTID,ACKVALUE> 1.1、总体介绍 在storm中，可靠的信息处理机制是从spout开始的。 一个提供...
Storm架构和容错机制
weixin_43655644的博客
06-19 2131
Storm架构原理 Storm核心组件 概述 Apache Storm提供了一种基于Topology流计算的概念，Topology等价于hadoop中的mapreduce计算，MapReduce极端最终会停止，Topology会一直运行，除非用户执行storm kill指令才会停止该计算。Storm的单个阶段每秒钟可以处理100万条数据/Tuple。 Nimbus：负责资源分配和任务调。 Sup...
Storm学习笔记 - 消息容错机制
云端笑猿的博客
10-29 322
Storm学习笔记 - 消息容错机制 文章来自「随笔」 http://jsynk.cn/blog/articles/153.html 1. Storm消息容错机制概念 一个提供了可靠的处理机制的spout需要记录自己emit（发射）的tuple（消息元祖），当下游bolt处理tuple或者子tuple失败时spout能够重新发射。 Storm通过调用Spout的nextTuple()发送一个...
Storm 官方文档翻译 --- 消息的可靠性保障
weixin_30699463的博客
03-03 231
消息的可靠性保障 Storm 能够保证每一个由 Spout 发送的消息都能够得到完整地处理。本文详细解释了 Storm 如何实现这种保障机制，以及作为用户如何使用好 Storm 的可靠性机制。 消息的“完整性处理”是什么意思 一个从 spout 中发送出的 tuple 会产生上千个基于它创建的 tuples。例如，有这样一个 word-count 拓扑： TopologyBuilder...
storm容错机制（翻译官网文档）
zonahaha的博客
07-17 886
为什么要用storm？ storm 是一个免费的开源的分布式实时计算系统。storm使得处理无边的数据流变得简单，就像hadoop做批处理那样执行实时处理。storm简单，可以被用在各种编程语言，并且用起来充满了乐趣！ storm有很多使用场景：实时分析，在线机器学习，持续计算，分布式RPC（remote procedure call protocol远程过程调用），ETL（extract-...
大数据-Storm流式框架（四）---storm容错机制
yaya_jn的博客
10-26 415
spout发射元组的时候会给合适的acker发送一个消息表示对哪个spout的元组负责。storm的拓扑中提供了一组acker用于追踪spout发射的每个元组及其衍生的元组，一旦发现DAG处理完了，就同创建该元组的spout进行确认。ack val代表了该元组树的状态，不管spout发射的元组及其衍生的元组有多少，它仅仅是对所有创建的元组以及确认的元组id求。某个元组的id和该64bit的数字异或结果是0的情况极其少见，比如每秒处理10k的元组，需要5000万年才会产生一个错误，造成数据丢失。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

码农_程序员

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值