Storm内部通信以及ack-fail机制

内部通信

  Bolt跨服务器发送Tuple的时候，需要借助socketServer保持网络连接状态。每个executor都有一个都有一个缓存队列：executor—>nextTuple/execute；每个worker都有输入和输出的管理器，其中管理器要维持socket连接。
    输出：Map<ip+port，socket object>
    输入：ServerSocket（ip，port）—accept接受—对数据进行分发

对于worker进程，为了管理流入和传出的消息，每个worker进程有一个独立的接受线程对配置的TCP端口supervisor.ports进行监听。worker接受线程通过网络接收数据，并根据Tuple中包含的taskId，匹配到对应的executor。然后根据executor找到对应的incoming-queue，将数据发送到incoming-queue队列中。业务逻辑执行现成消费incoming-queue的数据，通过调用Bolt的execute（xxxx）方法，将Tuple作为参数传输到自定义的方法中。业务逻辑执行完毕之后，将计算的中间数据发送给outgoing-queue队列，当outgoing-queue中的Tuple达到一定的阈值，executor的发送线程将批量获取outgoing-queue中的tuple并发送到worker的transfer-queue中。Worker发送线程消费transfer-queue中的数据，计算Tuple的目的地，连接不同的ip+port，将数据通过网络传输到另一个Worker。
  Disruptor是一个有界队列，应用于“生产者-消费者”模型。其是一种线程之间信息无锁的交换方式（使用CAS（Compare And Swap/Set）操作）。因为没有锁机制，所以Disruptor没有竞争速度非常快。所