本文介绍了Storm的容错机制，包括架构容错和数据容错。架构容错中，Nimbus和Supervisor进程设计为快速失败并无状态，worker进程不受影响。当Nimbus或Supervisor挂掉，worker仍能继续工作，但Nimbus的挂掉会导致新拓扑无法提交。数据容错方面，通过Acker组件跟踪并确保消息的正确处理，若超时未处理则标记为失败。
Storm 的容错机制包括架构容错和数据容错。
1)架构容错：
Nimbus 和 Supervisor 进程被设计成快速失败(fail fast)的(当遇到异常的情况，进程就会挂掉)并且是无状态的(状态都保存在 Zookeeper 或者在磁盘上)。最重要的是，worker 进程不会因为 Nimbus 或者 Supervisor 挂掉而受影响。这跟Hadoop 是不一样的，当 JobTracker 挂掉，所有的任务都会没了。
当 Nimbus 挂掉会怎样？
如果Nimbus是以推荐的方式处于进程监管(例如通过supervisord)之下，那它会被重启，不会有任何影响。
否则当 Nimbus 挂掉后：
·已经存在的拓扑可以继续正常运行，但是不能提交新拓扑
·正在运行的 worker 进程仍然可以继续工
最低0.47元/天 解锁文章
扫一扫
3380
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
