内部通信
Bolt跨服务器发送Tuple的时候,需要借助socketServer保持网络连接状态。每个executor都有一个都有一个缓存队列:executor—>nextTuple/execute;每个worker都有输入和输出的管理器,其中管理器要维持socket连接。
输出:Map<ip+port,socket object>
输入:ServerSocket(ip,port)—accept接受—对数据进行分发
对于worker进程,为了管理流入和传出的消息,每个worker进程有一个独立的接受线程对配置的TCP端口supervisor.ports进行监听。worker接受线程通过网络接收数据,并根据Tuple中包含的taskId,匹配到对应的executor。然后根据executor找到对应的incoming-queue,将数据发送到incoming-queue队列中。业务逻辑执行现成消费incoming-queue的数据,通过调用Bolt的execute(xxxx)方法,将Tuple作为参数传输到自定义的方法中。业务逻辑执行完毕之后,将计算的中间数据发送给outgoing-queue队列,当outgoing-queue中的Tuple达到一定的阈值,executor的发送线程将批量获取outgoing-queue中的tuple并发送到worker的transfer-queue中。Worker发送线程消费transfer-queue中的数据,计算Tuple的目的地,连接不同的ip+port,将数据通过网络传输到另一个Worker。
Disruptor是一个有界队列,应用于“生产者-消费者”模型。其是一种线程之间信息无锁的交换方式(使用CAS(Compare And Swap/Set)操作)。因为没有锁机制,所以Disruptor没有竞争速度非常快。所