Storm内部通信以及ack-fail机制

本文详细介绍了Storm的内部通信机制,包括Bolt如何借助socketServer进行跨服务器通信,以及Disruptor和Netty在其中的角色。此外,还阐述了Storm的消息容错策略,如acker任务如何跟踪DAG中的消息,以及Spout的ack和fail方法在容错中的作用。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Storm集群架构中各模块进行外部通信,拓扑程序中各个Task进行内部通信。

内部通信

  Bolt跨服务器发送Tuple的时候,需要借助socketServer保持网络连接状态。每个executor都有一个都有一个缓存队列:executor—>nextTuple/execute;每个worker都有输入和输出的管理器,其中管理器要维持socket连接。
    输出:Map<ip+port,socket object>
    输入:ServerSocket(ip,port)—accept接受—对数据进行分发
在这里插入图片描述
对于worker进程,为了管理流入和传出的消息,每个worker进程有一个独立的接受线程对配置的TCP端口supervisor.ports进行监听。worker接受线程通过网络接收数据,并根据Tuple中包含的taskId,匹配到对应的executor。然后根据executor找到对应的incoming-queue,将数据发送到incoming-queue队列中。业务逻辑执行现成消费incoming-queue的数据,通过调用Bolt的execute(xxxx)方法,将Tuple作为参数传输到自定义的方法中。业务逻辑执行完毕之后,将计算的中间数据发送给outgoing-queue队列,当outgoing-queue中的Tuple达到一定的阈值,executor的发送线程将批量获取outgoing-queue中的tuple并发送到worker的transfer-queue中。Worker发送线程消费transfer-queue中的数据,计算Tuple的目的地,连接不同的ip+port,将数据通过网络传输到另一个Worker。
  Disruptor是一个有界队列,应用于“生产者-消费者”模型。其是一种线程之间信息无锁的交换方式(使用CAS(Compare And Swap/Set)操作)。因为没有锁机制,所以Disruptor没有竞争速度非常快。所

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值